WO2007100137A1 - 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 - Google Patents

残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 Download PDF

Info

Publication number
WO2007100137A1
WO2007100137A1 PCT/JP2007/054205 JP2007054205W WO2007100137A1 WO 2007100137 A1 WO2007100137 A1 WO 2007100137A1 JP 2007054205 W JP2007054205 W JP 2007054205W WO 2007100137 A1 WO2007100137 A1 WO 2007100137A1
Authority
WO
WIPO (PCT)
Prior art keywords
linear prediction
dereverberation
value
channel
acoustic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/054205
Other languages
English (en)
French (fr)
Inventor
Keisuke Kinoshita
Tomohiro Nakatani
Masato Miyoshi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008502883A priority Critical patent/JP4774100B2/ja
Priority to EP07737780.2A priority patent/EP1993320B1/en
Priority to CN2007800060354A priority patent/CN101385386B/zh
Priority to US12/280,101 priority patent/US8271277B2/en
Publication of WO2007100137A1 publication Critical patent/WO2007100137A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Definitions

  • Reverberation removal apparatus dereverberation removal method, dereverberation program, and recording medium
  • the present invention relates to a technical field of acoustic signal processing, and more particularly, to a technique for removing reverberation from an acoustic signal including reverberation.
  • the dereverberation process is a technique that can remove the superimposed reverberation and return the acoustic signal to the original sound quality. Thereby, for example, it becomes possible to recover the clarity of the audio signal and improve the audio recognition rate and the like.
  • Non-Patent Document 1 As a conventional example of dereverberation processing for removing dereverberation, there is a method shown in Non-Patent Document 1.
  • the posterior reverberation decays exponentially
  • the energy of the posterior reverberation is estimated using the exponential function to perform dereverberation.
  • a model in which the reverberation energy decreases exponentially (assuming that the observed signal is converted into a frequency domain signal and the frequency domain signal is the sum of direct sound and rear reverberation for each frequency.
  • the model parameters are estimated using band decay m ⁇ del), and spectral subtraction is applied to the estimated back reverberation energy and observed signal energy to remove the back reverberation.
  • the model parameters are estimated using the tail part of the speech where only the posterior reverberation is observed.
  • Non-Patent Literature 1 1.Tashev and D. Allrea everoeration Reduction for Improved Speech Recognition 2005 Joint Workshop on hands-Free Speech Communication and Microphone Arrays. Disclosure of the invention
  • the rear reverberation can be accurately removed.
  • this framework cannot be used when the reverberation characteristics differ between the tail part of the acoustic signal and the other parts.
  • the rear reverberation is modeled by an exponential function, so that the rear reverberation in the observation sound does not match well with the model, or at the end of the acoustic signal and other parts.
  • the present invention has been made in view of such a point, and an object thereof is to provide a dereverberation technique capable of performing dereverberation processing with high accuracy in any environment.
  • a linear prediction coefficient and a plurality of the discrete acoustic signal values are The multi-step linear prediction model the linear prediction value obtained by substituting the linear prediction term of the w, and late reverberation prediction process of outputting a reverberation prediction value of the channel w is performed at discrete time n.
  • model means a relational expression expressing a physical state.
  • Chiannel Means a processing sequence for each sensor, and processing sequences of acoustic signals observed by the same sensor belong to the same channel.
  • M ⁇ 2 at least some of the sensors are placed at different positions from other sensors. In other words, when M ⁇ 2, not all sensors are placed at exactly the same position.
  • the “multi-step linear prediction model” in the case of M ⁇ 2 is called “multi-channel multi-step linear prediction model”. That is, the “multi-step linear prediction model” in the present invention is a superordinate concept of the “multi-channel multi-step linear prediction model”.
  • the rear reverberation prediction value of the acoustic signal is calculated from the linear prediction term of the multistep linear prediction model (details will be described later), and the acoustic signal is used by using the rear reverberation prediction value. Remove the reverberation.
  • the acoustic signal is modeled by the multi-step linear prediction model, more accurate approximation is possible as compared with the case where the rear reverberation is modeled only by the exponential function. That is, the rear reverberation component of the acoustic signal is caused by the acoustic signal at each past time point, and has autocorrelation in a certain time interval. Therefore, a multi-step linear prediction model that expresses time-series data at each time point by a linear combination of time-series data at a plurality of time points is suitable for a reverberation signal model.
  • the multi-step linear prediction model of the present invention is a sum of a linear prediction term obtained by linearly combining discrete acoustic signal values of M (M ⁇ 1) channels in a long time interval, and a prediction error term.
  • a linear prediction model expressing the discrete acoustic signal value of the channel w at the discrete time n after a predetermined time from the long time interval.
  • the entire discrete acoustic signal is used for estimating the model parameters of the multi-step linear prediction model, not only the tail part of the acoustic signal, the reverberation occurs at the tail part of the acoustic signal and other parts.
  • Appropriate rear dereverberation can be performed even if the characteristics are different.
  • M ⁇ 2 M ⁇ 2.
  • the model application process includes an autocorrelation having an autocorrelation with each discrete acoustic signal value in a short time interval immediately before the discrete time from the discrete acoustic signal value at each discrete time.
  • the multi-step linear prediction using the pseudo-whitening process to generate a discrete acoustic signal value with suppressed components (short-term correlation) and pseudo-whitening, and the pseudo-whitened discrete acoustic signal value.
  • a first linear prediction coefficient calculation process for calculating each linear prediction coefficient of the model.
  • the short time interval is shorter than the long time interval.
  • the multi-step linear prediction model is a model that estimates a rear reverberation component as a linear prediction term. Therefore, ideally, the autocorrelation component of the discrete acoustic signal value used to calculate the linear prediction coefficient is only due to the rear reverberation component. However, the direct sound component of the acoustic signal has autocorrelation in a very short time interval compared to the rear reverberation component. The pseudo whitening is a process for suppressing autocorrelation in this short time interval. The calculation of each linear prediction coefficient of the multi-step linear prediction model using the pseudo-whitened discrete acoustic signal improves the accuracy of the rear dereverberation process.
  • the pseudo-whitening process is performed by a sum of a linear prediction term obtained by linearly combining the discrete acoustic signal values of the channel m in the short time interval, and a prediction error term.
  • Each linear prediction coefficient of the short-term linear prediction model of channel m which is a linear prediction model expressing the discrete acoustic signal value of channel m at discrete time n immediately after the short time interval, and the discrete acoustic signal value
  • a reverse filter obtained by substituting each linear prediction coefficient calculated in the second linear prediction coefficient calculation process in the second linear prediction coefficient calculation process into the short-time linear prediction model in channel m.
  • the value of the prediction error term of the short-time linear prediction model obtained by substituting the discrete acoustic signal value of the channel m is set as the pseudo-whitened discrete acoustic signal value of the channel m. And an inverse filtering process for outputting. As a result, the autocorrelation of the direct sound component of the observed acoustic signal can be suppressed.
  • M ⁇ 2 the second linear prediction coefficient calculation process includes an autocorrelation coefficient calculation process for calculating an autocorrelation coefficient of the discrete acoustic signal value for each channel.
  • the average autocorrelation coefficient obtained by averaging the autocorrelation functions obtained for each channel between channels is used to calculate each linear prediction coefficient of the short-time linear prediction model, so that The calculation accuracy of each linear prediction coefficient is improved, and the generation accuracy of the discrete acoustic signal that is pseudo-whitened is improved. This contributes to improving the accuracy of the rear dereverberation process.
  • the discrete acoustic signal value of each channel is converted into a discrete acoustic signal value in the frequency domain
  • the rear reverberation prediction value of each channel is converted into a rear reverberation prediction value of the frequency domain.
  • the relative value of the conversion process, the amplitude spectrum of the discrete acoustic signal value in the frequency domain, and the amplitude spectrum of the predicted dereverberation value in the frequency domain is obtained for each channel, and the relative value is determined as the dereverberation signal value of the posterior dereverberation in each channel.
  • a rear dereverberation process for outputting as a predicted amplitude spectrum value. This makes it possible to calculate the amplitude amplitude predicted value of the rear dereverberation signal value.
  • each linear prediction coefficient calculated by the model application unit and a plurality of pseudo-whitened discrete acoustic signal values are used as the linear prediction term.
  • the linear prediction value obtained by substituting The frequency domain conversion unit converts the discrete acoustic signal value of each channel that has been whitened into a discrete acoustic signal value in the frequency domain.
  • the frequency domain conversion unit converts the discrete acoustic signal value of each channel that has been whitened into a discrete acoustic signal value in the frequency domain.
  • the amplitude vector predicted value of the rear dereverberation signal value of the channel w and the phase information of the discrete acoustic signal value of the frequency domain of the channel w are used, A complex vector generation process for calculating the complex spectral prediction of the posterior dereverberation signal value of w, and the channel posterior reverberation of the complex spectrum prediction value of the posterior dereverberation signal value of channel w converted to the time domain. And a time domain conversion process for calculating a removal signal estimation value.
  • an estimated value of the acoustic signal from which the dereverberation has been removed (estimated value of the posterior dereverberation signal) can be obtained.
  • the model application process is a process of calculating each linear prediction coefficient for each of a plurality of channels
  • the rear reverberation prediction process is The process of calculating the predicted dereverberation value for each of a plurality of channels, and the process of canceling the dereverberation of each of the channels calculates a predicted amplitude spectrum of the signal value of the posterior dereverberation signal for each of the plurality of channels.
  • the complex spectrum generating process is a process of calculating a complex spectrum prediction value of the rear dereverberation signal value for each of a plurality of channels
  • the time domain transforming process is a plurality of channels.
  • the dereverberation signal estimation value is calculated for each channel, and the dereverberation method is configured to convert the dereverberation signal estimation value of each channel to a certain delay amount.
  • a delay amount calculation process for determining the delay amount of each channel in which the inter-channel cross-correlation of the post-dereverberation signal estimation value of each channel after the delay is maximized. It should be noted that the delay amount of the estimated dereverberation signal that is not delayed is determined to be zero. This makes it possible to correct the delay amount between the channels of the estimated dereverberation signal calculated for each channel.
  • the rear dereverberation signal estimation value of each channel is delayed by the delay amount calculated for each channel, and the delayed rear reverberation is delayed.
  • the sum of the cancellation signal estimation value (including the delay 0 posterior dereverberation signal estimation value) is calculated as the corrected dereverberation signal value.
  • the multi-step linear prediction model is
  • e (n) be the prediction error corresponding to channel w and discrete time n
  • P is the linear prediction coefficient and D is a constant indicating the step size (delay).
  • x w ⁇ a wm (p)-x m (n-p-D) + e w (n)
  • FIG. 1 is a block diagram illustrating a functional configuration of a dereverberation apparatus according to the first embodiment.
  • FIG. 2A is a block diagram illustrating details of a functional configuration of a model application unit.
  • FIG. 2B is a block diagram illustrating details of the functional configuration of the delay adjustment unit.
  • FIG. 3 is a block diagram illustrating a hardware configuration of the dereverberation apparatus 10 in the first embodiment.
  • FIG. 4 is a flowchart for explaining the entire dereverberation process of the first embodiment.
  • FIG. 5 is a flowchart for explaining the entire dereverberation process of the first embodiment.
  • FIG. 6A is a flowchart for explaining details of step SI (model application process) in FIG.
  • FIG. 6B is a flowchart for explaining details of step S21 (pseudo whitening process) in FIG. 6A.
  • FIG. 7A is a flowchart for explaining details of step S31 (second linear prediction coefficient calculation process) in FIG. 6B.
  • FIG. 7B is a flowchart for explaining details of step S4 in FIG.
  • FIG. 8 is a block diagram illustrating a functional configuration of the dereverberation apparatus according to the second embodiment.
  • FIG. 9 is a block diagram illustrating details of a functional configuration of a model application unit.
  • FIG. 10 is a flowchart for explaining the entire dereverberation process of the second embodiment.
  • FIG. 11 is a flowchart for explaining the entire dereverberation process of the second embodiment.
  • FIG. 12A is a block diagram showing a functional configuration of a second linear prediction coefficient calculation unit of the third embodiment.
  • FIG. 12B is a flowchart for explaining the [second linear prediction coefficient calculation process (step S31;)] of the third embodiment.
  • FIG. 13 is a block diagram showing a functional configuration of a model application unit of the fourth embodiment.
  • FIG. 14 is a flowchart for explaining [Pseudo Whitening Process (Step S 21)] of the fourth embodiment.
  • FIG. 15 is a block diagram illustrating a functional configuration of a dereverberation apparatus according to a fifth embodiment.
  • FIG. 16 is a flowchart for explaining the entire dereverberation process of the fifth embodiment.
  • FIG. 17 is a block diagram illustrating a functional configuration of a dereverberation apparatus according to the sixth embodiment.
  • FIG. 18 is a flowchart for explaining the entire dereverberation process of the sixth embodiment.
  • FIG. 19 is a block diagram illustrating a functional configuration of a dereverberation apparatus according to a seventh embodiment.
  • FIG. 20 is a block diagram illustrating the details of the functional configuration of the model application unit in FIG.
  • FIG. 21 is a flowchart for explaining the entire dereverberation process of the seventh embodiment.
  • FIG. 22A is a flowchart for explaining details of step S301 (model application process) in FIG.
  • FIG. 22B is a flowchart for explaining details of step S311 (pseudo whitening process) in FIG. 22A.
  • FIG. 23A is a graph with the room transfer function value h on the vertical axis and the time (ms) on the horizontal axis.
  • FIG. 23B is a graph with the composite transfer function value g on the vertical axis and the time (ms) on the horizontal axis.
  • FIG. 23C is a graph in which the vertical axis represents the energy difference between the indoor transfer function h and the combined transfer function g, and the horizontal axis represents time (ms).
  • FIGS. 24A and 24B are diagrams showing amplitude spectrum values and sound waveforms before dereverberation, respectively.
  • FIG. 25A is a diagram showing experimental conditions.
  • FIG. 25B is a graph showing the speech recognition result (word error rate).
  • h (z) indicates the acoustic signal source force and the room transfer function to the sensor
  • G (z) is called the composite transfer function.
  • (Z) can be modeled as a white signal u (z) multiplied by a longer autoregressive process than d (z).
  • a model ⁇ such as equation (4) becomes more appropriate as d (z) approaches 1.
  • the short-term autocorrelation of the acoustic signal x (z) observed by the sensor is suppressed by pseudo-whitening.
  • d (z) of the acoustic signal x (z) observed by the sensor is brought close to 1, and the application of Equation (4) to the model is appropriate.
  • the target is the original acoustic signal s (z) where the autocorrelation power of d (z) is not very strong
  • the application of Eq. (4) to the model will be somewhat effective without performing pseudo-whitening processing. It will be appropriate.
  • Measurement model Linear prediction model expressing discrete acoustic signal values after a predetermined time from the long time interval by the sum of the linear prediction term that linearly combines the discrete acoustic signal values in the long time interval and the prediction error term
  • the observed acoustic signal is, for example,
  • Equation (5) can be modeled. Note that n is discrete time and X (n) is (if necessary).
  • N is the number of linear prediction coefficients
  • D is the step size (delay)
  • e (n) is discrete
  • the prediction error corresponding to time n is used.
  • the time interval from (n-N-D) to ( ⁇ -1-D) is equivalent to the “long interval” in the definition of the multistep linear prediction model, and X (
  • Equation (6) can be assumed.
  • Equation (7) a (z) obtained by z-transforming the linear prediction coefficient a (p) in Equation (5) is as shown in Equation (7) below.
  • g (z): g min (z)-min [g max (z)] (9) Note that g (z) and g (z) are the minimum phase components of g (z) (single on the Z plane).
  • g (z) approximates the indoor transfer function h (z) by pre-whitening processing.
  • Min [g (z)] means the minimum phase of g (z), and all zeros of g (max max max z) are their conjugate inverses. It means what is plotted inside.
  • the observation signal x '(z) u (z) obtained by pre-whitening the linear prediction coefficient ⁇ ( ⁇ ) of Equation (7)
  • Equation (2) the amplitude spectrum value in Eq. (10) approximates the amplitude spectrum value of the rear reverberation component of the acoustic signal, that is, using the acoustic signal from which the short-time correlation has been removed by pre-whitening processing, It is possible to obtain a signal whose amplitude spectrum value approximates the posterior reverberation component by numerically optimizing the multi-step linear prediction model to obtain a linear prediction coefficient and multiplying this with the pre-whitening observation signal. Then, by subtracting the estimated amplitude spectrum from the amplitude spectrum of the observed acoustic signal x (z), the amplitude spectrum from which the rear reverberation is removed can be obtained.
  • Expression (10) described above is a relational expression that is established when the analysis frame length is infinite. When viewed in units of finite-length analysis frames, equation (10) is not always true.
  • the response of the all-pass filter g (z) / min [g (z)] on the right side of Equation (10) is max max in the room transfer function h (z).
  • the method of Principle 1 is executed in units of analysis frames of a finite length. If the maximum phase component in the room transfer function h (z) is small, Equation (10) seen from the analysis frame unit can be approximated relatively well, and the dereverberation can be accurately removed by the principle 1 method. . However, in general, the maximum phase component in the room transfer function h (z) increases as the distance between the signal source and the sensor increases. In this case, the approximation of Equation (10) in the analysis frame unit does not hold, and the accuracy of the dereverberation removal by the method of Principle 1 on the premise that Equation (10) holds is reduced.
  • m ⁇ is the acoustic signal source power m m
  • the room transfer function up to m.
  • equation (11) can be approximated as follows.
  • the short-term autocorrelation of the acoustic signal x (z) m observed by sensor m is suppressed by pseudo-whitening (Pre-whitening) processing.
  • Pre-whitening pseudo-whitening
  • An inverse filter cannot be constructed using only single-channel acoustic signals observed with only one sensor, and an inverse filter can be constructed only when multiple channels of acoustic signals are used.
  • the correct linear prediction coefficient can be calculated only when the model of Equation (12) is configured for multi-channel acoustic signals, and an accurate rear reverberation signal can be obtained. It can be said that it can be predicted and eliminated.
  • the multi-channel multi-step linear prediction model (the sum of the linear prediction term that linearly combines the discrete acoustic signal values of M channels (M ⁇ 2) in the long-term interval and the prediction error term)
  • the model of Equation (12) is configured by a linear prediction model expressing discrete acoustic signal values in a discrete time after a predetermined time from the long time interval.
  • Multi-channel As a multi-step linear prediction model, the following equation (13) can be exemplified. Note that the multi-channel multi-step linear prediction model of Equation (13) is in the time domain.
  • xw ( n ) ⁇ 2 J a wm (p) 'x m (n— p— D) + e w (i) ,, ' (13)
  • n discrete time.
  • e (n) is a prediction error corresponding to the sensor w and the discrete time n, and the term on the right side of the equation (13) other than the prediction error term corresponds to the linear prediction term.
  • M indicates the total number of sensors.
  • N—1 is the filter length (linear prediction order). Note that [ ⁇ ] is a Gaussian symbol, indicating the largest integer that does not exceed '.
  • a (p) is the p-th linear prediction coefficient corresponding to sensor m of the linear prediction term corresponding to X (n) w, m w.
  • D indicates the step size (delay).
  • Equation (13) the time interval between (n- [N / M] -D) and ( ⁇ -1-D) is the “long time” shown in the definition of the multichannel multistep linear prediction model.
  • X is equivalent to the ⁇ discrete acoustic signal value after a predetermined time from the long period ''.
  • a multichannel multi-channel multi-step linear prediction model oc (p) is obtained using a multi-channel discrete acoustic signal or a discrete acoustic signal obtained by quasi-whitening them, and a multi-channel multi- Linear prediction term w, m of step linear prediction model
  • the original acoustic signal s (n) corresponding to the discrete time n in the time domain is expressed as follows using a V-th order FIR filter d (k) and a white signal u (n).
  • the acoustic signal X (n) observed by sensor m can be modeled as follows.
  • X (n) [x (n), x (n—l), ..., x (n—N)] T
  • Equation (5) the observed acoustic signal is modeled as shown in Equation (5), for example.
  • Linear prediction coefficient ⁇ that minimizes the energy of prediction error component e (n) in equation (5)
  • ⁇ ⁇ denotes the time average of ⁇
  • ⁇ denotes the matrix expression A of the linear prediction coefficient ⁇ ( ⁇ ) in equation (5)
  • ⁇ 2 represents the variance of u (n)
  • I represents the unit matrix.
  • E ⁇ x (n-l-D) -x (n) ⁇ in the equation (19) can be expanded as follows.
  • g [g (D), g (D + l), ..., g (T-1), 0, ..., 0] T. That is, g represents an element after the Dth late'l late'l of g (n), and corresponds to rear reverberation.
  • Equation (19) can be rewritten as follows. Note that ( ⁇ ) — represents the inverse matrix of-.
  • ⁇ 2 represents the dispersion of the white signal u (n), and g is a component corresponding to the rear reverberation.
  • the value with is not always a value that accurately estimates the power of the rear reverberation component, it is not a value that overestimates the power of the rear reverberation component.
  • equation (13) becomes as follows.
  • x w (n) ⁇ a w , m (p) -x m (n— p— D) + e w (j ⁇ — (26)
  • X (n) [X T (n), X T (n), ..., X T (n)] T
  • A is the linear prediction coefficient a (p) in Eq. (26)
  • w w w w G is the full rank column.
  • Equation (29) was used to derive equation (30), and the Moore-Penrose generalized inverse matrix definition was used to derive equation (31).
  • w means the rear reverberation component of the acoustic signal. Therefore, the rear reverberation component of the acoustic signal can be accurately estimated by multiplying the transpose of the vector in Equation (28) and the row w, m column representation A of the linear prediction coefficient a (p) in Equation (26). I can speak. In other words, it can be seen that the rear reverberation component can always be accurately estimated by using the multichannel multistep linear model.
  • FIG. 23A is a graph with the room transfer function value h on the vertical axis and the time (ms) on the horizontal axis.
  • FIG. 23B is a graph with the composite transfer function value g on the vertical axis and the time (ms) on the horizontal axis.
  • FIG. 23C is a graph in which the energy difference between the room transfer function h and the combined transfer function g is plotted on the vertical axis and time (ms) is plotted on the horizontal axis.
  • the room transfer function value h exponentially decays with time.
  • the composite transfer function value g also exponentially decays with time.
  • the energy difference between them is large. The difference is small. In other words, the energy difference between the room transfer function h and the combined transfer function g decreases with time. Then, after the “certain time” has elapsed, the energy difference becomes so small that it is negligible with respect to the energy of the entire audio signal (below or below a predetermined threshold).
  • D of the multistep linear prediction model in Eqs. (5) and (13) it is desirable to set D of the multistep linear prediction model in Eqs. (5) and (13) to be equal to or greater than the “certain time”.
  • the energy ratio between the room transfer function h and the combined transfer function g and d (z) are unknown and the “certain time” is also indefinite. Therefore, in general, the “certain time” is estimated from an empirical rule, and the value of D of the multistep linear prediction model is set based on the estimation. More preferably, assuming that it is difficult to estimate this “certain time”, the d (z) component is suppressed by the above-described pseudo whitening.
  • the reverberation component at the time ⁇ + 1 + D of X (n) m at discrete time n is a predetermined value (for example, X (n at discrete time n M) 60dB lower than
  • the first embodiment is an embodiment in which the number of sensors M is M ⁇ 2.
  • FIG. 3 is a block diagram illustrating the hardware configuration of the dereverberation apparatus 10 according to the present embodiment.
  • the dereverberation apparatus 10 of this example includes a CPU (Central Processing Unit) 11, an input unit 12, an output unit 13, an auxiliary storage device 14, a ROM (Read Only Memory) 15, a RAM ( Random Access Memory) 16 and bus 17.
  • CPU Central Processing Unit
  • input unit 12 an output unit 13
  • auxiliary storage device 14 a ROM (Read Only Memory)
  • RAM Random Access Memory
  • the CPU 11 in this example includes a control unit l la, a calculation unit l ib, and a register 11c, and executes various calculation processes according to various programs read into the register 11c.
  • the input unit 12 is an input interface for inputting data, a keyboard, a mouse, and the like
  • the output unit 13 is an output interface for outputting data.
  • the auxiliary storage device 14 is, for example, a hard disk, an MO (Magneto-Optical disc), a semiconductor memory, or the like, and stores a program area 14a in which a program for causing the computer to function as the dereverberation device 10 and various data are stored. It has a data area 14b.
  • RAM16 [SRAM (Static Random Access Memory) ⁇ DRAM (Dynamic Random Access Memory), etc., having a program area 16a for storing the above programs and a data area 16b for storing various data. Yes.
  • the node 17 connects the CPU 11, the input unit 12, the output unit 13, the auxiliary storage device 14, the ROM 15 and the RAM 16 so as to communicate with each other.
  • Such hardware include a personal computer, a server device, a workstation, and the like.
  • the dereverberation program for executing each process of the dereverberation apparatus 10 of the present embodiment is stored in the program areas 14a and 16a.
  • Each program constituting the dereverberation program may be described as a single program sequence, or at least a part of the program may be stored in the library as a separate module.
  • each program may realize each function alone, or each program may read each other library to realize each function.
  • CPU11 (Fig. 3) follows the loaded OS (Operating System) program!
  • the above-mentioned program stored in the program area 14a of the storage device 14 is written into the program area 16a of the RAM 16.
  • the CPU 11 writes various data stored in the data area 14 b of the auxiliary storage device 14 into the data area 16 b of the RAM 16.
  • the address on the RAM 16 where the program and data are written is stored in the register 1 lc of the CPU 11.
  • the control unit 11a of the CPU 11 sequentially reads out these addresses stored in the register 11c, reads out the area data on the RAM 16 indicated by the read address, and executes the operation indicated by the program to the operation unit l ib in sequence. And store the result in register 1 lc! /,
  • FIG. 1 is a block diagram illustrating a functional configuration of the dereverberation apparatus 10 configured by reading and executing the above-described program in the CPU 11 as described above.
  • FIG. 2A is a block diagram illustrating details of the functional configuration of the model application unit 10b
  • FIG. 2B is a block diagram illustrating details of the functional configuration of the delay adjustment unit lOi.
  • the dereverberation apparatus 10 includes a memory 10a, a model application unit 10b, a rear reverberation prediction unit 10c, a frequency domain transform unit 10d, a rear dereverberation unit 10e, and a complex spectrum.
  • the generator 10f, the time domain converter 10g, the delay amount calculator 10h, the delay adjuster 10i, the memory 10j, and the controller 10k are included.
  • the model application unit 10b includes a pseudo-whitening unit 100 and a first linear prediction coefficient calculation unit 200, and the pseudo-whitening unit 100 includes a second linear A prediction coefficient calculation unit 110 and an inverse filter processing unit 120 are included.
  • the second linear prediction coefficient calculation unit 110 includes an autocorrelation coefficient calculation unit 111, an autocorrelation coefficient averaging unit 112, and an equation calculation unit 113.
  • the delay adjustment unit 10i includes a delay unit 10ia and a delay correction unit 10ib.
  • the memory 10a and the memory 10j correspond to any one of the auxiliary storage device 14, the RAM 16, the register llc, the other buffer memory and the cache memory, or a storage area using these in combination.
  • model application unit 10b, rear reverberation prediction unit 10c, frequency domain transform unit 10d, rear reverberation removal unit 10e, complex spectrum generation unit 10f, time domain transform unit 10g, delay amount calculation unit 10h, delay adjustment unit 10i and control unit 10k is configured by causing the CPU 11 to execute the dereverberation program.
  • the dereverberation apparatus 10 of the present embodiment executes each process under the control of the control unit 10k. Unless otherwise indicated, each data in the calculation process is stored and read in the memory 10j one by one, and each calculation process proceeds.
  • each data such as X (n), a (p)
  • subscript value [eg data X
  • FIG. 4 and 5 are flowcharts for explaining the entire dereverberation processing of the present embodiment.
  • 6A is a flowchart for explaining details of step S 1 (model application process) in FIG. 4, and FIG. 6B is for explaining details of step S21 (pseudo whitening process) in FIG. 6A.
  • FIG. 7A is a flowchart for explaining details of step S31 (second linear prediction coefficient calculation process) in FIG. 6B
  • FIG. 7B is a flowchart for explaining details of step S4 in FIG. is there.
  • the dereverberation process of this embodiment will be described with reference to these drawings.
  • Discrete acoustic signal values X ( ⁇ ⁇ ⁇ ⁇ ( ⁇ ) are stored in the memory 10a.
  • the data is stored in the memory 10a, and the following processes are executed for each analysis frame. However, while the discrete acoustic signal value X ( ⁇ ⁇ ⁇ ( ⁇ ) is acquired in real time, the following processes are performed.
  • the analysis frame means a time interval including a plurality of discrete times ⁇ .
  • the model application unit 10b uses the discrete acoustic signal value X ( ⁇ ⁇ ⁇ ⁇ ( ⁇ ) for one analysis frame read from the memory 10a to
  • the pseudo whitening (Pre-whitening) unit 100 performs the short-circuiting of the input discrete acoustic signal value X (n) -x (n). In time interval
  • the multistep linear prediction model matches well with a discrete acoustic signal in which short-term self-correlation (autocorrelation component in a short time interval) according to d (z) is suppressed. Therefore, suppressing such a short-term autocorrelation from the discrete acoustic signal value X ( ⁇ ) ⁇ ⁇ ( ⁇ )
  • the first linear prediction coefficient calculation unit 200 which is input to the number calculation unit 200 (Fig. 2 ⁇ ), uses the pseudo-whitened discrete acoustic signal values X ′ ( ⁇ ) to ⁇ ′ ( ⁇ ) and uses Equation (13) Multi-step line shown in Linear prediction coefficient ⁇ ( ⁇ ⁇ ⁇ «( ⁇ )
  • the delay D in equation (13) is, for example, 30 ms (corresponding to 300 taps when the sampling frequency is 12000 Hz), and N is, for example, about 300,000.
  • x '(I!) ... X' ( ⁇ ) is used to calculate ⁇ ( ⁇ ⁇ ⁇ ⁇ ( ⁇ ).
  • the pseudo whitening process is performed by linear prediction.
  • the second linear prediction coefficient calculation unit 110 uses the input discrete acoustic signal value X (n) -x (n) to
  • Each linear prediction coefficient b (l) b (q) of the shape prediction model is calculated and output (second linear prediction coefficient calculation process Z step S31).
  • the “short-time linear prediction model” is a discrete prediction immediately after the short-term interval by the sum of a linear prediction term that linearly combines the discrete acoustic signal values of the channel w in the short-term interval and a prediction error term. This means a linear prediction model that represents the discrete acoustic signal value of the channel w at time n.
  • the “short time interval” is shorter than the “long time interval” shown in the definition of the multi-step linear prediction model. In this embodiment, the following short-time linear prediction model is used.
  • Equation (33) corresponds to the prediction error term, and the other term on the right side is m
  • B (i) means the i-th linear prediction coefficient of the linear prediction term.
  • the short time interval in Eq. (33) is the short time phase of the discrete acoustic signal value X ( ⁇ ) ⁇ ⁇ ( ⁇ ).
  • initial reflected sound components and direct sound components having autocorrelation within a short time interval of 30 ms can be suppressed by the following step S32.
  • the inverse filter processing unit 120 receives each linear prediction coefficient b (l) "'b (q) and discrete sound The signal value x ( ⁇ ⁇ ⁇ ( ⁇ ) is input.
  • the inverse filter processing unit 120 calculates each linear prediction coefficient b (l)
  • the second linear prediction coefficient calculation process is executed using the autocorrelation method.
  • the second linear prediction coefficient calculation process may be executed using another known linear prediction coefficient calculation method such as a covariance method.
  • the autocorrelation coefficient calculation unit 111 uses the input discrete acoustic signal value X ( ⁇ ). Discrete acoustic signal value X ( ⁇ ) ⁇ ⁇ ( ⁇ )
  • the autocorrelation coefficient calculation unit 111 calculates and outputs an autocorrelation coefficient c (i) c (0 according to the following expression (35). Than (33) (34))
  • the autocorrelation coefficient averaging unit 112 receives the autocorrelation coefficient c (i) c (
  • the autocorrelation coefficient averaging unit 112 checks these autocorrelation coefficients c G) to c (0
  • the average autocorrelation coefficient c (i) averaged between channels is calculated and output (autocorrelation coefficient averaging process Z step S42).
  • the average autocorrelation coefficient c (i) is calculated, for example, by the following equation (36) Done according to
  • each average autocorrelation coefficient c (i) obtained as described above is input to the equation calculation unit 113, which uses each average autocorrelation coefficient c (i) and By calculating the solution of Yule-Walker's equation (normal equation) as shown, each linear prediction coefficient b (l) b (q) of the short-time linear prediction model is calculated and output (equation calculation process Z step S43 ).
  • the rear reverberation prediction unit 10c calculates the discrete acoustic signal value X ( ⁇ ) ⁇ ⁇ ( ⁇ ) read from the memory 10a and the model application process (step SI). Is
  • the frequency domain transform unit 10d receives the discrete acoustic signal values X (n).
  • the frequency domain transform unit 10d receives the input discrete acoustic signal value X ( ⁇ ) ⁇ ⁇ (
  • the frequency domain transform unit 10d performs the amplitude spectrum of the discrete acoustic signal value X (f, t) -X (f, t) in the frequency domain
  • the rear dereverberation unit 10e applies the amplitude spectrum of the discrete acoustic signal value in the frequency domain
  • the rear dereverberation unit 10e performs the amplitude spectrum
  • the rear dereverberation unit 10e performs an amplitude spectrum
  • const indicates a constant
  • control unit 10k assigns 1 to variable m and stores m in memory 10j (step S52).
  • control unit 10k determines whether or not the calculation result of Expression (39) stored in the memory 10j satisfies the following relationship (step S53).
  • control unit 10k gives a command to the rear dereverberation unit 10e, and the rear dereverberation unit 10e
  • control unit 10k gives an instruction to the rear dereverberation unit 10e, and the rear dereverberation unit 10e corresponds to the variable m with 0 or a sufficiently small value
  • the processing in steps S53 to S55 corresponds to half-wave rectification processing.
  • Half-wave rectification may be performed by a method other than steps S53 to S55.
  • output in this way is, for example, a dereverberation device.
  • control unit 10k causes the following processing after step S7 to be executed [complex spectrum generation process (step S7)]
  • step S4 the amplitude spectrum predicted value
  • step S3 arg [X (f, t)]-arg [ X (f, t)] is input.
  • the generation unit 10f calculates and outputs a complex spectrum prediction value S (f, t) -S (f, t) of the rear dereverberation signal value according to the following equation (42) (step S7).
  • step S7 the complex vector prediction values S (f, t) to S (f, t) of the above-mentioned rear dereverberation signal value are input to the time domain transform unit 10g. Then, the time domain conversion unit 10g
  • the complex residual prediction value S (f, t) -S (f, t) of the dereverberation signal value is converted to the time domain
  • the dereverberation signal estimated value s (n) -s ( ⁇ ) is calculated and output (step S8).
  • the conversion to is performed by, for example, inverse Fourier transform.
  • step S8 the delay calculation unit 10h receives the dereverberation cancellation signal estimate s (n) -s ( ⁇ ).
  • the delay amount calculation unit 10h calculates the rear dereverberation signal estimated value s (n) -s ( ⁇ )
  • the delay calculation unit 10h estimates the posterior dereverberation signal in the input analysis frame. For the value s ( ⁇ ) ⁇ 8 (n), the function value of the inter-channel correlation function A ( ⁇ ) as in the following equation (43)
  • a () E ⁇ s (n)-s ( ⁇ + ⁇ ) ⁇ ⁇ ⁇ '(43)
  • the delay amount calculation unit lOh maximizes the inter-channel correlation function A ( ⁇ ) for each m (for example, m
  • the maximum ⁇ is obtained as ⁇ .
  • the correlation function A ( ⁇ ) between channels is the maximum and m m
  • Max ⁇ ' ⁇ detects the maximum value of.
  • the delay unit lOia (FIG. 2B) of the delay adjustment unit lOi is the dereverberation cancellation signal estimate value s (n) -s ( ⁇ ) for each channel.
  • s ( ⁇ + ⁇ ) -s ( ⁇ + ⁇ ) is input to the delay correction unit lOib ((Fig. 2 ⁇ )), and the delay correction
  • the part lOib calculates the sum of s di + ⁇ ) '"s ( ⁇ + ⁇ ) according to the following equation (45) (step Sl l
  • This sum is output as a corrected dereverberation signal value s (n) (step S12), and the processing of the analysis frame is completed. If the error component contained in the rear reverberation signal of each channel is considered to be statistically independent, this operation can suppress the error.
  • the second embodiment is a modification of the first embodiment.
  • the relative value is obtained, and the relative value is set as the predicted amplitude span Is 1 (f, t) ⁇ “Is (f, t)
  • obtained in this way is applied to a system that requires pseudo-whitened data, such as a speech recognition system. It is suitable as an input because such a system does not require preprocessing for pseudo whitening.
  • the dereverberation apparatus of this embodiment is also configured by reading a predetermined program into a computer and executing it.
  • FIG. 8 is a block diagram illustrating a functional configuration of the dereverberation apparatus 310 of the present embodiment.
  • FIG. 9 illustrates the details of the functional configuration of the model application unit 310b. It is a block diagram. 8 and 9, the same reference numerals as those in the first embodiment are used for portions that are the same as those in the first embodiment.
  • the dereverberation apparatus 310 includes a memory 10a, a model application unit 310b, a rear reverberation prediction unit 310c, a frequency domain transform unit 310d, a rear dereverberation unit 310e, and a complex. It has a spectrum generation unit 310f, a time domain conversion unit 10g, a delay amount calculation unit 10h, a delay adjustment unit 10i, a memory 10j, and a control unit 10k.
  • the model application unit 310b includes a pseudo-whitening unit 100 and a first linear prediction coefficient calculation unit 200.
  • the pseudo-whitening unit 100 calculates the second linear prediction coefficient.
  • the second linear prediction coefficient calculation unit 110 includes an autocorrelation coefficient calculation unit 111, an autocorrelation coefficient averaging unit 112, and an equation calculation unit 113.
  • the difference between the model application unit 310b and the model application unit 10b of the first embodiment is that the inverse filter processing unit 120 of the model application unit 310b performs pseudo whitening on the discrete acoustic signal value X ′ (I!)... X ′ ( ⁇ ) is also transferred to the rear reverberation prediction unit 310c and the frequency domain conversion unit 310d.
  • the model application unit 310b uses M-channel discrete acoustic signal values X (n) to x (n) for one analysis frame read from the memory 10a, and performs the process shown in Equation (13).
  • step S 101 This process is similar to the [model application process (step S1)] of the first embodiment, and includes a process of pseudo-whitening the discrete acoustic signal value X ( ⁇ ⁇ ⁇ (n).
  • step S101 After the model application process (step S101), the rear reverberation prediction unit 310c The discrete acoustic signal value x ′ (I!)... X, (n), pseudo whitened in step (S101)
  • Each linear prediction coefficient ⁇ ( ⁇ ⁇ ⁇ ( ⁇ ) calculated in the process (step S101) is input and w, l w,
  • the rear reverberation prediction unit 310c performs linear prediction coefficients ⁇ ( ⁇ o (p) and pseudo-whitening w, l w,
  • the rear reverberation prediction unit 310c calculates and outputs the rear reverberation prediction value r (n) according to the following Equation (46).
  • the rear reverberation prediction value r ( ⁇ ) ⁇ ⁇ ( ⁇ ) is input.
  • the rear reverberation prediction value R (f, t) -R (f, t) is converted (step S103).
  • Od is the amplitude of the discrete acoustic signal value X '(f, t) -X' (f, t) in the frequency domain by these processes.
  • the rear dereverberation unit 310e receives the amplitude spectrum IX ′ (f, t)
  • the rear dereverberation section 310e performs the amplitude spectrum
  • the signal value is output as an amplitude spectrum prediction value
  • the final output information 310 is output (step S106), and the analysis frame processing is terminated.
  • the control unit 10k causes the following processing from step S107 to be executed.
  • step S104 the amplitude spectrum prediction value of the rear dereverberation signal value output from the rear dereverberation section 310e (step S104) to the complex spectrum generation section 310f
  • the vector generation unit 310f uses these pieces of information to calculate and output a complex spectrum prediction value S (f, t) -S (f, t) of the rear dereverberation signal value according to the following equation (47). (Step S107
  • Step S108 ⁇ Delay amount calculation process (Step S109) ⁇ Delay adjustment process (Step S110, S111)]
  • Time domain conversion process (step S108) Delay amount calculation process (step S109) Delay adjustment process (steps S110 and S111) is the time domain conversion process of the first embodiment (step S8) Delay amount calculation process (step S9 ) ⁇ Same as the delay adjustment process (steps S10 and S11).
  • the third embodiment is a modification of the first and second embodiments.
  • the second linear prediction coefficient calculation unit 110 generates autocorrelation coefficients c G) to c (0 as generated for each channel).
  • Each linear prediction coefficient b (i) ' ⁇ ' b ( q ) of the short-time linear prediction model was calculated using the average autocorrelation coefficient c (i) averaged between the data.
  • the second linear prediction coefficient calculation unit 410 is the most acoustic signal source among the M sensors. Calculate the autocorrelation coefficient of the discrete sound signal value obtained by sampling the acoustic signal observed by one nearby sensor at multiple points in time, and use the autocorrelation coefficient for the short-time linear prediction model. Each linear prediction coefficient is calculated.
  • FIG. 12A is a block diagram showing a functional configuration of the second linear prediction coefficient calculation unit 410 of the present embodiment.
  • the same reference numerals as those in the first embodiment are used for portions common to the first embodiment.
  • FIG. 12B is a flowchart for explaining the [second linear prediction coefficient calculation step (step S31)] of the present embodiment.
  • the second linear prediction coefficient calculation unit 410 of this embodiment includes a self-relationship number calculation unit 411 and an equation calculation unit 113.
  • the autocorrelation coefficient calculation unit 411 uses the input discrete acoustic signal value X ( ⁇ ⁇ ⁇ ( ⁇ ), and ⁇ ( ⁇ ⁇ 2) One sensor closest to the sound signal source
  • the information of one sensor y closest to the sound source of the acoustic signal may be fixed information included in the autocorrelation coefficient calculation unit 411, or may be fluctuation information given to the autocorrelation coefficient calculation unit 411. May be.
  • each autocorrelation coefficient c (i) obtained as described above is input to the equation calculation unit 113, and the equation calculation unit 113 uses each average autocorrelation coefficient c (i). , Yule-Walker equation ( By calculating the solution of the normal equation), each linear prediction coefficient b (l) b (q) of the short-time linear prediction model is calculated and output (equation calculation process Z step S142).
  • this embodiment uses the autocorrelation coefficient of the sound signal value corresponding to one sensor closest to the sound source of the sound signal to calculate each linear prediction coefficient b (l) b (q). And This improves the calculation accuracy of the linear prediction coefficients b (l) b (q) compared to the case where the autocorrelation coefficients of the acoustic signal values corresponding to other sensors are used, and the discrete acoustic signal value X ( ⁇ ) ⁇ ⁇ ⁇ ( ⁇ ) is
  • the fourth embodiment is a modification of the first and second embodiments.
  • step S21 pseudo-whitening of discrete acoustic signal values was performed using a short-time linear prediction model.
  • FIG. 13 is a block diagram showing a functional configuration of the model application unit 500 of the present embodiment.
  • the same reference numerals as those in the first embodiment are used for portions common to the first embodiment.
  • the model application unit 500 of this embodiment includes a pseudo-whitening unit 510 and a first linear prediction coefficient calculation unit 200.
  • the pseudo whitening unit 510 includes a frequency domain conversion unit 511, a time averaging unit 512, a subtraction unit 513, and a time domain conversion unit 514.
  • FIG. 14 is a flowchart for explaining the [pseudo whitening process (step S21)] of the present embodiment.
  • the [pseudo-whitening process (step S21)] of this embodiment will be described using this figure.
  • the frequency domain transform unit 511 of the pseudo-whitening unit 510 reads M channel discrete acoustic signal values X (n) to x (n) for one acoustic signal analysis frame from the memory 10a. And frequency
  • the number domain transform unit 511 performs discrete acoustic signal values ⁇ ( ⁇ ) ⁇ ⁇ ( ⁇ ) by short-time Fourier transform or the like.
  • step S201 is converted into a discrete acoustic signal value X (f, t) -X (f, t) in the frequency domain and output (step S201
  • the time averaging unit 512 reads the frequency domain discrete acoustic signal value X (f, t) -X (f, t).
  • the time averaging unit 512 obtains the time average X ′ (D of the discrete acoustic signal value X (f, t) 'X (f, t) in the frequency domain by the following equation (49) and outputs it. (Step S202).
  • the subtractor 513 receives the frequency domain discrete acoustic signal value X (f, t) -X (f, t) and their time.
  • the discrete acoustic signal value X ′ ( ⁇ ⁇ ⁇ ′ ( ⁇ ) after pseudo whitening generated by the time domain conversion unit 514 is represented by the posterior reverberation.
  • the fifth embodiment is a modification when the pseudo whitening method of the fourth embodiment is applied to the first embodiment.
  • step S3 the discrete acoustic signal value X (n)
  • a discrete acoustic signal value X (f, t) -X (f, t) in the frequency domain is obtained in the process (step S201).
  • the frequency domain dispersive acoustic signal value X (f, t) -X (f, t) obtained in the pseudo-whitening process of the fourth embodiment is used to perform the frequency domain conversion process. Simplify processing.
  • FIG. 15 is a block diagram illustrating a functional configuration of the dereverberation apparatus 610 of the present embodiment.
  • the same reference numerals are used for the parts common to the embodiments described so far.
  • the dereverberation apparatus 610 includes a memory 10a, a model application unit 500, a rear reverberation prediction unit 10c, a frequency domain transform unit 5lOd, a rear dereverberation unit 10e, A vector generation unit 10f, a time domain conversion unit 10g, a delay amount calculation unit 10h, a delay adjustment unit 10i, a memory 10j, and a control unit 10k are included.
  • FIG. 16 is a flowchart for explaining the entire dereverberation process of the present embodiment. Hereinafter, the dereverberation processing of this embodiment will be described with reference to this figure.
  • the model application unit 500 force M channel discrete acoustic signal value X ( ⁇ ⁇ ⁇ ( ⁇ ) for one analysis frame read from the memory 10a is used, and the multi-function shown in Equation (13) is used.
  • the pseudo whitening process is as described in the fourth embodiment, and the other processes are the same as those in the first embodiment.
  • the rear reverberation prediction unit 10c receives the discrete acoustic signal value ⁇ ( ⁇ ) ⁇ ⁇ ( ⁇ ) read from the memory 10a and the model application process (step S211).
  • the rear reverberation prediction unit 10c includes each linear prediction coefficient ⁇ ( ⁇ ⁇ ⁇ ( ⁇ ) and the discrete acoustic signal w, l w,
  • the rear reverberation prediction value r ( ⁇ ) ⁇ ⁇ ( ⁇ ) calculated in the rear reverberation prediction process is input to the frequency domain transform unit 510d.
  • Rear reverberation prediction value r (I!) ... r (n) is changed to the frequency domain rear reverberation prediction value R (f, t) R (f, t)
  • the frequency domain transform unit 510d performs the amplitude spectrum of the rear domain reverberation prediction value R (f, t) -R (f, t)
  • Part 310e is the frequency
  • step S7 the phase information arg [X (f, t)]-arg [X ( f, t)] is different from the first embodiment only
  • the sixth embodiment is a modification when the pseudo whitening method of the fourth embodiment is applied to the second embodiment.
  • step S201 discrete acoustic signal values X (f, t) ⁇ X (f, t) in the frequency domain are obtained in the process (step S201).
  • the frequency domain dispersive acoustic signal value X (f, t) -X (f, t) obtained in the pseudo-whitening process of the fourth embodiment is used to obtain the frequency domain. Simplify the conversion process.
  • the dereverberation apparatus of this embodiment is also configured by a predetermined program being read and executed by a computer.
  • FIG. 17 is a block diagram illustrating a functional configuration of the dereverberation apparatus 620 of the present embodiment.
  • the same reference numerals are used for parts common to the embodiments described so far.
  • the dereverberation apparatus 620 includes a memory 10a, a model application unit 500, a rear reverberation prediction unit 310c, a frequency domain transform unit 510d, a rear dereverberation unit 310e, and a complex spectrum generation unit. 310f, time domain conversion unit 10g, delay amount calculation unit 10h, delay adjustment unit 10i, memory 10j, and control unit 10k.
  • FIG. 18 is a flowchart for explaining the entire dereverberation process of the present embodiment. Hereinafter, the dereverberation processing of this embodiment will be described with reference to this figure.
  • the model application unit 310b uses M-channel discrete acoustic signal values X (n) to x (n) for one analysis frame read from the memory 10a, and performs the process shown in Equation (13).
  • the rear reverberation prediction unit 310c receives the discrete acoustic signal values X ′ (I!)... X, (n) pseudo whitened in the model application process (step S221) and the model. Suitable
  • the rear reverberation prediction unit 310c performs linear prediction coefficients ⁇ ( ⁇ o (p) and pseudo-whitening w, l w,
  • the predicted reverberation value r ( ⁇ ) ⁇ ⁇ ( ⁇ ) calculated in the rear reverberation prediction process (step S222) is input to the frequency domain transform unit 510d.
  • Rear reverberation prediction value r (I!) ... r (n) is changed to the frequency domain rear reverberation prediction value R (f, t) R (f, t).
  • the frequency domain transform unit 510d performs the amplitude spectrum of the rear domain reverberation prediction value R (f, t) -R (f, t)
  • the rear dereverberation unit 310e receives the amplitude spectrum IX ′ (f, t)
  • the rear dereverberation section 310e performs the amplitude spectrum
  • the signal value is output as an amplitude spectrum predicted value
  • step S7 the phase information arg [X ′ (f, t)]-arg [X ′ () transferred from the subtraction unit 513 (FIG. 13) of the pseudo-whitening unit 510 is used. Only the point that uses f, t)] is different from the first embodiment.
  • M l
  • the pseudo whitening method of the fourth embodiment is applied to the second embodiment, and the delay amount calculation unit lOh and the delay adjustment unit lOi are not present.
  • FIG. 19 is a block diagram illustrating a functional configuration of the dereverberation apparatus 710 of the present embodiment.
  • FIG. 20 is a block diagram illustrating the details of the functional configuration of the model application unit 800 of FIG. In FIGS. 19 and 20, the same reference numerals are used for portions common to the embodiments described so far.
  • the dereverberation apparatus 710 includes a memory 10a, a model application unit 800, a rear reverberation prediction unit 310c, a frequency domain transform unit 310d, a rear dereverberation unit 310e, and a complex. It has a spectrum generation unit 310f, a time domain conversion unit 10g, a memory 10j, and a control unit 10k.
  • the model application unit 800 includes a pseudo-whitening unit 810 and a first linear prediction coefficient calculation unit 200.
  • the pseudo-whitening unit 810 includes a frequency domain conversion unit 811, a time averaging unit 812, a subtraction unit 813, and a time domain conversion unit 814.
  • FIG. 21 is a flowchart for explaining the entire dereverberation process of the present embodiment.
  • 22A is a flowchart for explaining details of step S301 (model application process) in FIG. 21, and
  • FIG. 22B is a flowchart for explaining details of step S311 (pseudo whitening process) in FIG. 22A. It is.
  • Each discrete acoustic signal value X (n) is stored in the memory 10a.
  • Discrete acoustic signal values X (n) for all time intervals for dereverberation are acquired in advance and stored in memory 10a.
  • the following processes may be executed while acquiring X (n) in real time.
  • the discrete acoustic signal value X (n) for one analysis frame read from the model application unit 800 force memory 10a is used, and the multistep linear prediction model shown in Equation (5) is used.
  • Each linear prediction coefficient a (p) is calculated (step S301). The details of this process are as follows.
  • the pseudo-whitening (Pre-hitening) unit 810 (Fig. 20) performs self-measurement in a short time interval of the input discrete acoustic signal value X (n). phase Discrete acoustic signal value X with suppressed function components and pseudo-whitening X
  • the pseudo-whitened discrete acoustic signal value X ′ ( ⁇ ) is the first linear prediction coefficient calculation unit.
  • the first linear prediction coefficient calculation unit 200 uses the pseudo-whitened discrete acoustic signal value X ′ ( ⁇ ), and the multi-step linear prediction model shown in Equation (5).
  • the delay D in Equation (5) is, for example, 25 ms (corresponding to 300 taps when the sample frequency is 12000 Hz), and the number N of each linear prediction coefficient ex (p) is
  • Examples thereof include an autocorrelation method and a covariance method. You can also perform this process using MATLAB (registered trademark)!
  • pseudo-whitening of discrete acoustic signal values is performed using Cepstral Mean Subtraction (CMS).
  • CMS Cepstral Mean Subtraction
  • the frequency domain conversion unit 811 of the pseudo-whitening unit 810 reads one channel of discrete acoustic signal values X (n) for one acoustic signal analysis frame from the memory 10a. And frequency domain
  • the transform unit 81 1 converts the discrete acoustic signal value X (n) into the frequency domain by short-time Fourier transform or the like.
  • the time averaging unit 812 reads the discrete acoustic signal value X (f, t) in the frequency domain,
  • the inter-average unit 812 calculates the discrete acoustic signal value X (f, t) in the frequency domain by the following equation (53):
  • the time average X'D of 1 is obtained and output (step S322).
  • the subtractor 813 receives the frequency domain discrete acoustic signal value X (f, t) and its time average E ⁇ X (f, t) ⁇
  • X ′ (f, t) is read into the time domain transform unit 514, and the time domain transform unit 814
  • step S324 This process is performed by inverse Fourier transform.
  • InvF ['] indicates the inverse Fourier transform function.
  • the initial reflection component and the short-time correlation within 25 ms should be removed. Can do.
  • the discrete acoustic signal value X ′ ( ⁇ ) after pseudo whitening generated by the time domain transform unit 814 is also transmitted to the rear reverberation prediction unit 310c and the frequency domain transform unit 310d (FIG. 19).
  • the rear reverberation prediction unit 310c receives the pseudo-whitened discrete acoustic signal value X ′ ( ⁇ ) generated by the time domain conversion unit 814 and the model application process (
  • the rear reverberation prediction unit 310c performs linear prediction coefficients ⁇ ( ⁇
  • the linear prediction value obtained by substituting 1 into the linear prediction term of the multistep linear prediction model is used as the posterior reverberation prediction value r (n)
  • the rear reverberation prediction unit 310c performs the rear reverberation prediction value r according to the following Equation (56).
  • the frequency domain transform unit 310d calculates the discrete acoustic signal value X ′ ( ⁇ ) after pseudo whitening generated by the time domain transform unit 814 (FIG. 20) and the dereverberation prediction process (step S302).
  • the predicted rear reverberation value r (n) is input.
  • the frequency domain transform unit 310d is input
  • a window function having a finite length such as a haung window having a window length of 25 ms is used, and conversion to these frequency domains is performed by short-time Fourier transform (DFT) or the like.
  • DFT short-time Fourier transform
  • the frequency domain transforming unit 310d performs the amplitude spectrum
  • the rear dereverberation unit 310e detects the amplitude spectrum IX, (f, t)
  • Each relative value is obtained, and the relative value is output as the predicted amplitude spectrum value
  • the details of this processing are the same as in the first embodiment.
  • the final output information is output (step S306), and the analysis frame processing is terminated.
  • output in this way is, for example, a dereverberation device 71.
  • control unit 10k causes the following processing from step S307 to be executed.
  • the complex spectrum generation unit 310f outputs the amplitude spectrum predicted value
  • of the rear dereverberation signal value output from the rear dereverberation unit 310e step S304
  • the frequency domain output from the converter 310d step S303)
  • phase information arg [X (f, t)] of the discrete acoustic signal value is input.
  • the complex spectrum predicted value S (f, t) of the rear dereverberation signal value is calculated and output according to the following equation (57) (step S307).
  • step S307 the complex spectrum prediction value S (f, t) of the above-mentioned rear dereverberation signal value is input to the time domain transform unit 10g. Then, the time domain transforming unit 10g transforms the complex spectrum predicted value S (f, t) of the rear dereverberation signal value into the time domain, and performs the rear dereverberation signal estimation.
  • a constant value s (n) is calculated and output (step S308). Note that conversion to the time domain is, for example,
  • the simulation was performed with a configuration in which the pseudo whitening method of the fourth embodiment was applied to the second embodiment.
  • the step size (delay) D of the multistep linear prediction model in Eq. (5) is 25 ms
  • the number of linear prediction coefficients ⁇ ( ⁇ ) is 5000. It also changes from time domain to frequency domain.
  • the short-time Fourier transform with a window length of 25 ms was used for conversion.
  • FIG. 24A and FIG. 24B are diagrams showing an amplitude spectrum value and a speech waveform before dereverberation, respectively.
  • the vertical axis represents the amplitude spectrum value
  • the horizontal axis represents time (s).
  • the vertical axis represents frequency (Hz)
  • s time
  • Table 1 shows the word error rates for each recognition target.
  • the word error rates of reverberant speech and dereverberated speech are expressed as “13 ⁇ 4.” And “1 ⁇ .”, Respectively. It can be seen that despite the learning from the acoustic model power clean speech, the recognition rate is greatly improved by the present invention.
  • FIG. 25A shows the experimental conditions.
  • four speakers 1 020 were placed in a straight line at a distance of 0, 5m, 1. Om, l. 5m, 2. Om from Crofon 1010 (solid line).
  • FIG. 25B shows speech recognition results for the above four cases (no processing, seventh embodiment, first embodiment (no delay adjustment), first embodiment (with delay adjustment)) ( It is a graph which shows a word error rate.
  • the first embodiment (M ⁇ 2) (7)
  • the amount of improvement in the word error rate of the first embodiment (without delay adjustment) and the first embodiment (M ⁇ 2) (with delay adjustment) is not very large.
  • the word error rate can be further improved.
  • the rear dereverberation unit converts each data into the frequency domain by a short-time Fourier transform or the like and executes each process.
  • the rear dereverberation unit may z-convert each data and execute each process in the z region. ⁇ .
  • the pseudo-whitening unit performs a short-time correlation from the discrete acoustic signal value.
  • Each process was performed after removing. However, each process may be executed using discrete acoustic signal values from which correlation has not been removed for a short time.
  • the program describing the processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be any medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, or a semiconductor memory.
  • the magnetic recording device may be a hard disk device, DVD (Digital Versatile Disc), DVD—RAM (Random Access Memory), CD—ROM (Compact Disc Read Only Memory), CD—R (Recordable) ZRW (Rewritable), etc.
  • a magneto-optical disc (MO) or the like can be used as a magneto-optical recording medium
  • an EEPROM Electrically Erasable and Programmable-Read Only Memory
  • the distribution of this program is, for example, a DVD or CD-R on which the program is recorded.
  • the program may be distributed by storing the program in a storage device of a server computer and transferring the program to a server computer or another computer via a network! /.
  • a computer that executes such a program for example, first stores the program recorded on the portable recording medium or the program transferred with the server computer power in its own storage device. When executing the process, this computer reads the program stored in its own recording medium and executes the process according to the read program. As another execution form of this program, a computer is a portable recording medium. It is also possible to directly read a program and execute processing according to the program, and to execute processing according to the received program sequentially each time the server computer power program is transferred to this computer. It is good. Also, the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service that realizes processing functions by only executing execution instructions and obtaining results without transferring the program from the server computer to this computer.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (data that is not a direct command to a computer but has a property that defines the processing of the computer, etc.). Shall be.
  • the predetermined program is executed on the computer, whereby the power to configure this apparatus is realized as at least a part of these processing contents in a one-drum manner. Also good.
  • acoustic signal processing systems By using the present invention as an elemental technology of various acoustic signal processing systems, the performance of the entire system can be improved.
  • acoustic signal processing systems to which the present invention can be applied include the following.
  • the following system is an example that is assumed to be used in situations where the sound recorded in the environment always includes reverberation (reflected sound).
  • Machine control interface that passes commands to machines in response to human-generated sounds, and machine-to-human interaction devices
  • Communication system such as a TV conference system that improves speech clarity by removing dereverberation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

　モデル適用部１０ｂが、離散音響信号を用い、マルチステップ線形予測モデルの各線形予測係数を算出する。次に、後部残響予測部１０ｃが、各線形予測係数と離散音響信号とをマルチステップ線形予測モデルの線形予測項に代入して得られた線形予測値を、後部残響予測値として算出する。次に、周波数領域変換部１０ｄが、離散音響信号を周波数領域の離散音響信号に変換し、後部残響予測値を周波数領域の後部残響予測値に変換する。そして、後部残響除去部１０ｅが、周波数領域の離散音響信号の振幅スペクトルと、周波数領域の後部残響予測値の振幅スペクトルとの相対値を求め、当該相対値を後部残響除去信号の振幅スペクトル予測値とする。

Description

明 細 書
残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 技術分野
[0001] 本発明は、音響信号処理の技術分野に係わり、特に、残響を含む音響信号から残 響を除去する技術に関する。
背景技術
[0002] 残響のある環境で音響信号を収音すると、本来の信号に残響が重畳された信号が 観測される。この場合、重畳した残響成分によって音響信号の明瞭性が大きく低下し 、音響信号本来の性質を抽出することが困難となる。例えば、残響を含む音声信号 を自動音声認識 (以下、音声認識)システムによって認識した場合、この残響の影響 によって、音声認識システムの認識率は著しく低下してしまう。
残響除去処理は、このような場合に、重畳した残響を取り除き、音響信号を本来の 音質に戻すことができる技術である。これにより、例えば、音声信号の明瞭性を回復 し、音声認識率等を改善することが可能となる。
[0003] 長 、残響を除去する残響除去処理の従来例として、非特許文献 1に示す方法があ る。
この従来例では、後部残響が指数関数的に減衰すると仮定し、指数関数を用いて 後部残響のエネルギーを推定し、残響除去を行う。すなわち、観測信号を周波数領 域信号に変換し、各周波数にぉ 、て周波数領域信号が直接音と後部残響との和で あると仮定し、残響エネルギーが指数関数的に減少するモデル (multi-band decay m ◦del)を用いて、そのモデルパラメータを推定し、推定された後部残響エネルギーと 観測信号エネルギーとにスペクトル減算法 (Spectral subtraction)を適用し、後部残 響を除去している。なお、モデルパラメータの推定には、後部残響のみが観測される 音声の末尾部分を用いて 、る。
非特干文献 1 : 1. Tashev and D. Allrea everoeration Reduction for Improved Speec h Recognition 2005 Joint Workshop on hands-Free Speech Communication and Mi crophone Arrays. 発明の開示
発明が解決しょうとする課題
[0004] しかし、上述の従来例では、環境によって、精度の良い残響除去を自動的に行うこ とができない場合があるという問題点があった。
すなわち、上述の従来例の場合、用いた指数関数が観測音中の後部残響を良くモ デリングできていれば、後部残響を精度良く除去できる。しかし、一般的に部屋、話 者とマイク間距離により多様に変化する残響を正確に指数関数で近似することは難 しい。また、音響信号の末尾部分とそれ以外の部分で残響特性が異なる場合は、こ の枠組みを用いることはできない。このように、上述の従来例では、後部残響を指数 関数でモデルィ匕しているため、そのモデルと観測音中の後部残響がうまく合わない 場合や、音響信号の末尾部分とそれ以外の部分で残響特性が異なる場合に精度の 良 、残響除去を自動的に行うことはできな力つた。
[0005] 本発明はこのような点に鑑みてなされたものであり、どのような環境でも精度の良い 残響除去処理を行うことが可能な残響除去技術を提供することを目的とする。 課題を解決するための手段
[0006] 本発明では、上述の課題を解決するために、まず、 M (M≥1)個のセンサによって それぞ; ^測された M個のチャネル m(m= l, ..., M)の音響信号をそれぞれ複数 の時点でサンプリングして得られた離散音響信号値をメモリに記憶する離散音響信 号記憶過程と、チャネル w(w= l, ..., M)のマルチステップ線形予測モデル (長時 間区間における M個のチャネルの各離散音響信号値を線形結合した線形予測項と 、予測誤差項と、の和によって、当該長時間区間より所定時間後の離散時間 nにお けるチャネル wの離散音響信号値を表現した線形予測モデル)の各線形予測係数を 、複数の上記離散音響信号値を用いて算出するモデル適用過程と、上記チャネル w のマルチステップ線形予測モデルの各線形予測係数と複数の上記離散音響信号値 とを、上記チャネル wのマルチステップ線形予測モデルの上記線形予測項に代入し て得られた線形予測値を、離散時間 nにおけるチャネル wの後部残響予測値として 出力する後部残響予測過程とが実行される。
[0007] なお、「モデル」とは、物理的な状態を表現した関係式を意味する。また、「チャネル 」とは、センサ毎の処理系列を意味し、同じセンサで観測された音響信号の処理系列 は同じチャネルに属する。また、 M≥2の場合、センサのうちの少なくとも一部は、他 のセンサと異なる位置に配置される。すなわち、 M≥2の場合、全てのセンサが全く 同じ位置に配置されることはない。また、 M≥ 2の場合における「マルチステップ線形 予測モデル」を「マルチチャネルマルチステップ線形予測モデル」と呼ぶ。すなわち、 本発明における「マルチステップ線形予測モデル」は、「マルチチャネルマルチステツ プ線形予測モデル」の上位概念である。
[0008] このように本発明では、マルチステップ線形予測モデルの線形予測項から、音響信 号の後部残響予測値を算出し (詳細は後述)、当該後部残響予測値を用いることに より音響信号の残響を除去する。
ここで、本発明では、マルチステップ線形予測モデルによって音響信号をモデルィ匕 するため、指数関数のみで後部残響をモデルィ匕する場合に比べ、より正確な近似が 可能である。すなわち、音響信号の後部残響成分は、過去の各時点の音響信号に 起因するものであり、或る時間区間において自己相関性を持つ。そのため、各時点 の時系列データを複数時点の時系列データの線形結合で表現するマルチステップ 線形予測モデルは、残響信号のモデルィ匕に適して 、ると 、える。
[0009] また、本発明のマルチステップ線形予測モデルは、長時間区間における M (M≥ 1 )個のチャネルの各離散音響信号値を線形結合した線形予測項と、予測誤差項と、 の和によって、当該長時間区間より所定時間後の離散時間 nにおけるチャネル wの 離散音響信号値を表現した線形予測モデルである。このような「当該長時間区間より 所定時間後の離散音響信号値を表現した線形予測モデル」を用いることで、「当該 長時間区間直後の離散音響信号値を表現した線形予測モデル」を用いる場合よりも 、後部残響信号を精度良く推定できる (詳細は後述)。その結果、適切な後部残響除 去を行うことができる。
[0010] また、本発明では、マルチステップ線形予測モデルのモデルパラメータの推定に、 音響信号の末尾部分のみではなぐ離散音響信号の全体を用いるため、音響信号 の末尾部分とそれ以外の部分で残響特性が異なる場合でも、適切な後部残響除去 を行うことができる。 また、本発明において好ましくは M≥ 2である。マルチチャネルマルチステップ線形 予測モデルを用いることにより、室内伝達関数中の最大位相成分が多 、環境であつ ても、精度良く後部残響除去を行うことが可能となる (詳細は後述)。
また、本発明において好ましくは、上記モデル適用過程は、各離散時間の上記離 散音響信号値から、当該離散時間直前の短時間区間内の各離散音響信号値と自 己相関性を持つ自己相関成分 (short-term correlation)を抑制し、擬似白色化 (pre- whitening)した離散音響信号値を生成する擬似白色化過程と、上記擬似白色化した 離散音響信号値を用い、上記マルチステップ線形予測モデルの各線形予測係数を 算出する第 1線形予測係数算出過程と、を有する。ここで、上記短時間区間は、上記 長時間区間よりも短い。
[0011] マルチステップ線形予測モデルは、後部残響成分を線形予測項として推定するモ デルである。よって、その線形予測係数の算出に用いる離散音響信号値の自己相関 成分は、後部残響成分に起因するもののみであることが理想的である。しかし、音響 信号の直接音成分は、後部残響成分に比べ極めて短い時間区間での自己相関性 を持つ。擬似白色化は、この短い時間区間での自己相関性を抑制する処理である。 擬似白色化した離散音響信号を用いてマルチステップ線形予測モデルの各線形予 測係数を算出することは、後部残響除去処理の精度を向上させることになる。
[0012] また、本発明において好ましくは、上記擬似白色化過程は、上記短時間区間にお けるチャネル mの各離散音響信号値を線形結合した線形予測項と、予測誤差項と、 の和によって、上記短時間区間直後の離散時間 nにおける当該チャネル mの離散音 響信号値を表現した線形予測モデルである、チャネル mの短時間線形予測モデル の各線形予測係数を、上記離散音響信号値を用いて算出する第 2線形予測係数算 出過程と、上記第 2線形予測係数算出過程で算出された上記各線形予測係数をチ ャネル mの上記短時間線形予測モデルに代入して得られる逆フィルタに当該チヤネ ル mの上記離散音響信号値を代入し、それによつて得られる当該短時間線形予測 モデルの上記予測誤差項の値を当該チャネル mの上記擬似白色化した離散音響信 号値として出力する逆フィルタ処理過程と、を有する。これにより、観測された音響信 号の直接音成分の自己相関性を抑制できる。 [0013] また、この場合に好ましくは、 M≥2であり、上記第 2線形予測係数算出過程は、チ ャネル毎に上記離散音響信号値の自己相関係数を算出する自己相関係数算出過 程と、チャネル毎に求められた上記自己相関係数をチャネル間で平均した平均自己 相関係数を算出する自己相関係数平均化過程と、上記平均自己相関係数を用い、 上記短時間線形予測モデルの各線形予測係数を算出する方程式演算過程と、を有 する。
このように、各チャネルで求められた自己相関関数をチャネル間で平均した平均自 己相関係数を、短時間線形予測モデルの各線形予測係数の算出に用いることにより 、短時間線形予測モデルの各線形予測係数の算出精度が向上し、擬似白色化した 離散音響信号の生成精度が向上する。これは、後部残響除去処理の精度向上に貢 献する。
[0014] 上述の平均自己相関係数を用いる代わりに、上記 M個のセンサのうち、音響信号 の音源に最も近い 1つのセンサで観測された音響信号を複数の時点でサンプリング して得られた離散音響信号値の自己相関係数を算出し、上記自己相関係数を用い 、上記短時間線形予測モデルの各線形予測係数を算出してもよい。これにより、精 度良く短時間線形予測モデルの各線形予測係数を算出することができ、擬似白色 化した離散音響信号の生成精度が向上する。これは、後部残響除去処理の精度向 上に貢献する。
また、本発明において好ましくは、各チャネルの上記離散音響信号値を周波数領 域の離散音響信号値に変換し、各チャネルの上記後部残響予測値を周波数領域の 後部残響予測値に変換する周波数領域変換過程と、上記周波数領域の離散音響 信号値の振幅スペクトルと、上記周波数領域の後部残響予測値の振幅スペクトルと の相対値をチャネル毎に求め、当該相対値を各チャネルの後部残響除去信号値の 振幅スペクトル予測値として出力する後部残響除去過程と、を有する。これにより、後 部残響除去信号値の振幅スぺ外ル予測値を算出できる。
[0015] また、この場合において好ましくは、上記後部残響予測過程では、上記モデル適用 部で算出された上記各線形予測係数と複数の擬似白色化された上記離散音響信号 値とを上記線形予測項に代入して得られた線形予測値を、離散時間 nにおけるチヤ ネル wの後部残響予測値として算出し、上記周波数領域変換部では、擬似白色化さ れた各チャネルの上記離散音響信号値を周波数領域の離散音響信号値に変換す る。これにより、擬似白色化された後部残響除去信号値の振幅スぺ外ル予測値を算 出することができる。このような値は、擬似白色化されたデータを必要とするシステム の入力値として好適である。
[0016] また、本発明にお 、て好ましくは、チャネル wの上記後部残響除去信号値の振幅ス ベクトル予測値と、チャネル wの上記周波数領域の離散音響信号値の位相情報とを 用い、チャネル wの後部残響除去信号値の複素スぺ外ル予測値を算出する複素ス ベクトル生成過程と、チャネル wの上記後部残響除去信号値の複素スペクトル予測 値を時間領域に変換したチャネル wの後部残響除去信号推定値を算出する時間領 域変換過程とを、さらに有する。これにより、後部残響が除去された音響信号の推定 値 (後部残響除去信号推定値)を得ることができる。
[0017] また、この場合において好ましくは、 M≥2であり、上記モデル適用過程は、複数の チャネルに対してそれぞれ上記各線形予測係数を算出する過程であり、上記後部残 響予測過程は、複数のチャネルに対してそれぞれ上記後部残響予測値を算出する 過程であり、上記後部残響除去過程は、複数のチャネルに対してそれぞれ上記後部 残響除去信号値の振幅スぺ外ル予測値を算出する過程であり、上記複素スぺクト ル生成過程は、複数のチャネルに対してそれぞれ上記後部残響除去信号値の複素 スペクトル予測値を算出する過程であり、上記時間領域変換過程は、複数のチヤネ ルに対してそれぞれ上記後部残響除去信号推定値を算出する過程であり、当該残 響除去方法は、各チャネルの上記後部残響除去信号推定値をそれぞれ或る遅延量 で遅延させた場合に、遅延後の各チャネルの上記後部残響除去信号推定値のチヤ ネル間相互相関が極大となる、各チャネルの当該遅延量を決定する遅延量算出過 程を有する。なお、遅延させない後部残響除去信号推定値については遅延量 0と決 定する。これにより、各チャネルで算出された後部残響除去信号推定値のチャネル 相互での遅延量を補正することが可能となる。
[0018] そして、この場合には、各チャネルの上記後部残響除去信号推定値を、それぞれ のチャネルに対して算出された上記遅延量だけ遅延させ、遅延させた上記後部残響 除去信号推定値 (遅延量 0の後部残響除去信号推定値も含む)の和を、補正残響除 去信号値として算出する。これにより、残響除去信号の推定精度が向上する。
また、本発明において好ましくは、上記マルチステップ線形予測モデルは、
X (n)をチャネル w(w= l, ..., M)に対応する離散時間 nの離散音響信号値とし、 w
X (n)をチャネル m (m= l, ..., M)に対応する離散時間 nの離散音響信号値とし、 e (n)をチャネル w及び離散時間 nに対応する予測誤差とし、 Nを正の整数とし、 [·]を w
ガウス記号とし、 α (Ρ)を、 X (η)に対応する線形予測項のチャネル mに対応する w, m w
P番目の線形予測係数とし、 Dをステップサイズ (遅延）を示す定数とした場合におけ る、
[数 1]
M [N/M]
xw =∑ aw m(p) - xm(n - p - D) + ew (n)
m=〗 p=l である。
発明の効果
[0019] 以上のように、本発明では、どのような環境でも精度の良い残響除去を行うことがで きる。
図面の簡単な説明
[0020] [図 1]図 1は、第 1実施形態の残響除去装置の機能構成を例示したブロック図である
[図 2]図 2Aは、モデル適用部の機能構成の詳細を例示したブロック図である。図 2B は、遅延調節部の機能構成の詳細を例示したブロック図である。
[図 3]図 3は、第 1実施形態における残響除去装置 10のハードウェア構成を例示した ブロック図である。
[図 4]図 4は、第 1実施形態の残響除去処理の全体を説明するためのフローチャート である。
[図 5]図 5、第 1実施形態の残響除去処理の全体を説明するためのフローチャートで ある。 [図 6]図 6Aは、図 4のステップ SI (モデル適用過程）の詳細を説明するためのフロー チャートである。図 6Bは、図 6Aのステップ S21 (擬似白色化過程)の詳細を説明する ためのフローチャートである。
[図 7]図 7Aは、図 6Bのステップ S31 (第 2線形予測係数算出過程)の詳細を説明す るためのフローチャートである。図 7Bは、図 4のステップ S4の詳細を説明するための フローチャートである。
[図 8]図 8は、第 2実施形態の残響除去装置の機能構成を例示したブロック図である
[図 9]図 9は、モデル適用部の機能構成の詳細を例示したブロック図である。
[図 10]図 10は、第 2実施形態の残響除去処理の全体を説明するためのフローチヤ一 トである。
[図 11]図 11は、第 2実施形態の残響除去処理の全体を説明するためのフローチヤ一 トである。
[図 12]図 12Aは、第 3実施形態の第 2線形予測係数算出部の機能構成を示したプロ ック図である。図 12Bは、第 3実施形態の [第 2線形予測係数算出過程 (ステップ S31 ；) ]を説明するためのフローチャートである。
[図 13]図 13は、第 4実施形態のモデル適用部の機能構成を示したブロック図である
[図 14]図 14は、第 4実施形態の [擬似白色化過程 (ステップ S21) ]を説明するための フローチャートである。
[図 15]図 15は、第 5実施形態の残響除去装置の機能構成を例示したブロック図であ る。
[図 16]図 16は、第 5実施形態の残響除去処理の全体を説明するためのフローチヤ一 トである。
[図 17]図 17は、第 6実施形態の残響除去装置の機能構成を例示したブロック図であ る。
[図 18]図 18は、第 6実施形態の残響除去処理の全体を説明するためのフローチヤ一 トである。 [図 19]図 19は、第 7実施形態の残響除去装置の機能構成を例示したブロック図であ る。
[図 20]図 20は、図 19のモデル適用部の機能構成の詳細を例示したブロック図である
[図 21]図 21は、第 7実施形態の残響除去処理の全体を説明するためのフローチヤ一 トである。
[図 22]図 22Aは、図 21のステップ S301 (モデル適用過程）の詳細を説明するための フローチャートである。図 22Bは、図 22Aのステップ S311 (擬似白色化過程）の詳細 を説明するためのフローチャートである。
[図 23]図 23Aは室内伝達関数値 hを縦軸にとり時間（ms)を横軸にとったグラフであ る。図 23Bは合成伝達関数値 gを縦軸にとり時間（ms)を横軸にとったグラフである。 また、図 23Cは室内伝達関数 hと合成伝達関数 gとのエネルギー差を縦軸にとり時間 (ms)を横軸にとったグラフである。
[図 24]図 24A、図 24Bは、それぞれ、残響除去前の振幅スペクトラム値及び音声波 形を示した図である。また、図 24C、図 24Dは、それぞれ、本発明（M= lの場合）に よる残響除去後の振幅スペクトラム値及び音声波形を示した図である。
[図 25]図 25Aは、実験条件を示す図である。図 25Bは、音声認識結果 (単語誤り率） を示すグラフである。
符号の説明
[0021] 10, 310, 610, 620, 710 残響除去装置
発明を実施するための最良の形態
[0022] 以下、本発明の実施の形態を図面を参照して説明する。
〔原理 1〕
まず、本発明の原理 1を説明する。なお、ここでは、原則、 z変換表記を用いる (後述 の式 (5)以外)。
原音響信号 s(z)をモデル化すると、以下の式（1)のような、白色信号 u(z) (予測誤差 項）と短 、（次数力 S小さな）自己回帰（AR: Auto-Regressive)モデル d(z)=l/(l- β (ζ))と を掛けたものとなる。すなわち、原音響信号 s(z)は、 d(z)に従った短期的な自己相関 性を持つ。
[0023] s(z)=u(z)/(l— |8 (ζ》
=u(z)-d(z) -(1)
なお、 |8 (z)は以下のような AR多項式である。ここで qは線形予測の次数であり、 b(i) は i番目の項の線形予測係数である。
[数 2] (z) =∑b(i) - z-i この場合、センサ (例えば、マイクロフォン)で観測される音響信号 X (z)は、
1
x (z)=u(z)- [d(z) -h(z)]
1
=u(z)-g(z) -(2)
と表される。なお、 h(z)は音響信号源力もセンサまでの室内伝達関数を示し、 g(z)は、 g(z)=d(z) -h(z) -(3)
を満たすものとする。なお、 g(z)を合成伝達関数と呼ぶ。
[0024] これより、原音響信号 s(z)の d(z)に従った短期的な自己相関性を無視できるのであ れば (原音響信号 s(z)を白色信号とみなすことができるのであれば)、式 (2)は、以下 のように近似できる。
x (z) = u(z)-h(z) -(4)
1
すなわち、 d(z)を 1とみなすことができるのであれば、センサで観測される音響信号 X
(Z)は、白色信号 u(z)に、 d(z)よりも長い (次数が大きな）自己回帰過程が掛カつたもの としてモデル化できる。
[0025] 式 (4)のようなモデルィ匕は、 d(z)を 1に近づけられるほど適切なものとなる。原理 1で は、擬似白色化 (Pre-whitening)処理により、センサで観測される音響信号 x(z)の短 期的な自己相関性を抑制する。これにより、センサで観測される音響信号 x(z)の d(z) を 1に近づけ、式 (4)のモデルへの適用を適切なものとする。しかし、 d(z)の自己相関 力あまり強くない原音響信号 s(z)を対象とするのであれば、擬似白色化処理を行わな くても、式 (4)のモデルへの適用はある程度適切なものとなる。
この場合、観測される音響信号は、センサ数 M= lの場合のマルチステップ線形予 測モデル (長時間区間における各離散音響信号値を線形結合した線形予測項と、 予測誤差項と、の和によって、当該長時間区間より所定時間後の離散音響信号値を 表現した線形予測モデル)で近似できる。すなわち、観測される音響信号は、例えば
、以下の式（5)のようにモデルィ匕できる。なお、 nを離散時間とし、 X (n)を (必要に応じ
1
て短時間相関を取り除いた)離散時間 nに対応する音響信号とし、 a (p)を線形予
1,1
測係数とし、 Nを線形予測係数の数とし、 Dをステップサイズ (遅延）とし、 e (n)を離散
1
時間 nに対応する予測誤差とする。また、式（5)の場合、（n-N-D)以上 (η-1-D)以下の 時間区間がマルチステップ線形予測モデルの定義中の「長時間区間」に相当し、 X (
1 n)が「長時間区間より所定時間後の離散音響信号値」に相当する。
[0026] [数 3]
N
x,(n)=∑ct, , (p)-x1(n-p-D) + e,(n) '··(5)
P=l ' ここで、式 (2)の g(z)の直接音成分を g (z)とし、後部残饗成分を g(z)とすると、以下
d r
の式 (6)が仮定できる。
g(z :=g (z)+z 'g(z) -"(6)
d r
この場合、式（5)の線形予測係数 a (p)を z変換した a (z)は、以下の式（7)のよう
1,1
に表せる。
[0027] [数 4]
Figure imgf000013_0001
ただし、
g、z) :=gmin(z) ' gnax(z) ·'·(8)
g(z)： =gmin(z) - min[gmax(z)] …（9) と仮定する。なお、 g (z)と g (z)とは、それぞれ g(z)の最小位相成分 (Z平面上の単
min max
位円内のゼロ点に対応する成分）と最大位相成分 (Z平面上の単位円外のゼロ点に 対応する成分）を意味する。また、前述のように pre-whitening処理によって g(z)は室 内伝達関数 h(z)に近似する。また、一般に室内伝達関数 h(z)は非最小位相である（最 小位相成分だけではなく最大位相成分も有する）。そのため、 g(z):=g (z)-g (z)との 仮定は妥当である。また、 min[g (z)]は、 g (z)を最小位相化したものを意味し、 g ( max max max z)の全てのゼロ点がそれらの共役逆である Z平面上の単位円内にプロットされたもの を意味する。
[0028] ここで、式（7)の線形予測係数 α (ζ)を pre-whitening処理された観測信号 x'(z)=u(z)
•g(z)に掛け、式 (7) （9)を代入すると、以下の式（10)が得られる。
[0029] [数 5] g(z)' z一 ugr(z)
u(z)-[g(z)- α(ζ)] = u(z)- g(z) z一 Dgr(z) (10)
Figure imgf000014_0001
ここで、 g (z)/min[g (z)]はオールパスフィルタ (掛け合わされる信号の振幅はそ max max
のまま保持され、位相が変更され得る関数)となる。よって、
[数 6]
は、 u(z)と同じ分散を持つ白色信号であることがわかる。また、式 (6)に示した通り、 z" D ' g (z)は、後部残響成分に起因する成分である。そして、音響信号は、式 (2)のよう に表されるのだから、式（10)の振幅スペクトル値は、音響信号の後部残響成分の振 幅スペクトル値に近似する。すなわち、 pre-whitening処理によって短時間相関を取り 除 ヽた音響信号を用い、式 (5)のマルチステップ線形予測モデルの数値的最適化を 行って線形予測係数を求め、これを pre-whitening処理された観測信号に掛け合わ せることで、後部残響成分に振幅スペクトル値が近似する信号を求めることができる。 そして、この推定した振幅スペクトルを、観測された音響信号 x(z)の振幅スペクトルか ら減算することによって、後部残響が除去された振幅スぺ外ルを得ることができる。
[0030] 〔原理 2〕
しかし、原理 1の方法では、精度の良い後部残響除去を行うことができない場合が ある。以下にその理由を説明する。
上述した式（10)は分析フレーム長を無限長とした場合に成立する関係式である。 有限長の分析フレーム単位でみた場合、式（10)は完全に成立するとは限らない。式 (10)の右辺のオールパスフィルタ g (z)/min[g (z)]の応答は、室内伝達関数 h(z)中 max max
の最大位相成分が多くなるほど長くなる。そのため、有限長の分析フレーム単位でみ た場合、室内伝達関数 h(z)中の最大位相成分が多くなりオールパスフィルタ g (z)/m max in[g (z)]の応答が長くなるほど、式（10)の左辺と右辺との乖離が大きくなる。
max
[0031] 通常、原理 1の方法は有限長の分析フレーム単位で実行される。室内伝達関数 h(z )中の最大位相成分が少な 、のであれば、分析フレーム単位でみた式（10)も比較的 よく近似され、原理 1の方法によって精度良く後部残響除去を行うことができる。しか し、一般に、信号源とセンサとの距離が遠くなるほど、室内伝達関数 h(z)中の最大位 相成分は増加する。この場合には、分析フレーム単位でみた式（10)の近似が成り立 たなくなり、式（10)が成立することを前提とする原理 1の方法による後部残響除去の 精度は低下する。
すなわち、信号源力 センサまでの室内伝達関数中に最大位相成分が存在する場 合、 1つのセンサのみで観測された単一チャネルの音響信号を用いて完全な逆フィ ルタを構成することはできない。ここで、逆フィルタを構成可能であることと、上記の線 形予測係数を算出できることは等価である。このことは、例えば、「M. Miyoshi and Y. Kaneda, inverse Filtering of Room Acoustics, ΙϋβΕ Trans, on Acoustics, bpeech and Signal Processing, 36(2), pp. 145-152, 1988 (以下『参考文献 1』という）に開示さ れている。一方、参考文献 1には、信号源力もセンサまでの室内伝達関数中に最大 位相成分が存在する場合に、複数のセンサで観測された複数チャネルの音響信号 を用いて逆フィルタを構成できることが開示されて 、る。
[0032] そこで原理 2では、線形予測モデルとして上述のマルチチャネルマルチステップ線 形予測モデル (センサ数 M≥ 2の場合のマルチステップ線形予測モデル)を採用し、 複数のセンサによって観測された複数チャネルの音響信号を用いて線形予測係数 を求める。これにより、線形予測モデルを用いた後部残響除去処理が可能となる。な お、原理 2の手法において線形予測フィルタを求めることができることは、室内伝達関 数中の最大位相成分の大小に依存しない。以下、この原理 2を説明する。
センサ m (m= l, . . . , M)で観測される音響信号 X (z)は、以下のようにモデルィ匕 できる。なお、 g (z)=d(z) -h ωを満たす合成伝達関数とし、 h
m ωを音響信号源力ゝらセ m m
ンサ mまでの室内伝達関数とする。
[0033] X (z)=u(z)-(d(z)-h (z))
m m
=u(z) - g (z) -(11)
m
これより、原音響信号 s(z)の d(z)に従った短期的な自己相関性を無視できるのであ れば (原音響信号 s(z)を白色信号とみなすことができるのであれば)、式（11)は、以 下のように近似できる。
X (z)=u(z)-h (z) ー(12)
m m
すなわち、 d(z)を 1とみなすことができるのであれば、センサ mで観測される音響信 号 X (z)は、白色信号 u(z)に、 d(z)よりも長い (次数が大きな）自己回帰過程が掛カつた m
ものとしてモデル化できる。
[0034] 式（12)のようなモデルィ匕は、 d(z)を 1に近づけられるほど適切なものとなる。原理 2 では、擬似白色化 (Pre-whitening)処理により、センサ mで観測される音響信号 x (z) m の短期的な自己相関性を抑制する。これにより、センサ mで観測される音響信号 X (z m
)の(½)を 1に近づけ、式（12)のモデルへの適用を適切なものとする。し力し、 d(z)の 自己相関があまり強くない原音響信号 s(z)を対象とするのであれば、擬似白色化処 理を行わなくても、式（12)のモデルへの適用はある程度適切なものとなる。
一方、室内伝達関数 h (z)には、最大位相成分が存在する。前述した『参考文献 1』 m
で開示されているように、室内伝達関数 h (z)に最大位相成分が存在する場合、 1つ m
のセンサのみで観測された単一チャネルの音響信号のみを用いて逆フィルタを構成 することはできず、複数チャネルの音響信号を用いた場合にのみ逆フィルタを構成で きる。これを式（12)のモデルに当てはめて考えると、複数チャネルの音響信号を対 象として式（12)のモデルを構成した場合にのみ、正しい線形予測係数を算出でき、 正確な後部残響信号を予測し、除去することができるといえる。以上より、原理 2では 、マルチチャネルマルチステップ線形予測モデル (長時間区間における M個（M≥ 2 )のチャネルの各離散音響信号値を線形結合した線形予測項と、予測誤差項と、の 和によって、当該長時間区間より所定時間後の離散時間における離散音響信号値 を表現した線形予測モデル）によって、式（12)のモデルを構成する。マルチチヤネ ルマルチステップ線形予測モデルとしては、以下の式（13)を例示できる。なお、式（ 13)のマルチチャネルマルチステップ線形予測モデルは、時間領域のものである。
[0035] [数 7]
M [N /M]
xw (n) = ∑ 2J aw m (p) ' xm (n— p— D) + ew ( i) , , ' (13)
m=l p=l ここで、 nは離散時間を示す。また、 X (n)は、センサ w (w= l , ..., M)で観測され w
、離散時間 nにおいてサンプリングされたチャネル wの離散音響信号、又は、それら を擬似白色化した離散音響信号に相当する。また、 X (n)は、センサ mで観測され、離 m
散時間 nにおいてサンプリングされた離散音響信号、又は、それらを擬似白色化した 離散音響信号に相当する。さらに、 e (n)は、センサ w及び離散時間 nに対応する予 測誤差であり、当該予測誤差項以外の式（13)右辺の項が線形予測項に相当する。 また、 Mはセンサの総数を示す。 N—1はフィルタ長 (線形予測次数)である。なお、 [· ]はガウス記号であり、 'を超えない最大の整数を示す。また、 a (p)は、 X (n)に対応 w,m w する線形予測項のセンサ mに対応する p番目の線形予測係数である。また、 Dはステ ップサイズ (遅延）を示す。また、式（13)の場合、（n-[N/M]- D)以上 (η-1-D)以下の時 間区間が、マルチチャネルマルチステップ線形予測モデルの定義に示した「長時間 区間」に相当し、 X ( が「長時間区間より所定時間後の離散音響信号値」に相当する
[0036] 原理 2では、複数チャネルの離散音響信号又はそれらを擬似白色化した離散音響 信号を用い、このようなマルチチャネルマルチステップ線形予測モデルの線形予測 係数 oc (p)を求め、マルチチャネルマルチステップ線形予測モデルの線形予測項 w,m
の値を求める。この線形予測項の値が、後部残響成分の予測値 (後部残響予測値） となる。その後、周波数領域における離散音響信号の振幅スペクトルと後部残響予 測値の振幅スペクトルとの相対値を求め、それを後部残響除去信号の振幅スぺタト ノレ予測他とす O (例 は、「¾. F. Boll, Suppression of acoustic noise in speecn using spectral subtraction," IEEE Trans, on Acoustics, Speech and Signal Processing, 27( 2), pp. 113-120, 1979」参照)。このような方法により、音声認識処理等にとって重要 な、直接音成分の振幅スペクトルを精度良く抽出できる。 [0037] 〔別の観点力 の原理 1， 2の説明〕
上記の原理 1, 2を別の観点力 説明する。
[問題設定]
まず、時間領域での離散時間 nに対応する原音響信号 s(n)を、 V次の FIRフィルタ d(k)と白色信号 u(n)を用いて以下のように表現する。
[0038] [数 8] s(n)=∑d(k)-u(n-k) (14)
k=0 これを用いると、センサ mで観測された音響信号 X (n)は以下のようにモデルィ匕でき る。
[0039] [数 9] xm(n) =∑hm(t)-s(n-t)
t
(15)
= gm(L).u(n- L)
L=0 ただし、
[0040] [数 10] gm(L) =∑hm(L-k)-d(k) (16) であり、 h (n)はセンサ mと音源との間のインノ ルス応答を表す,
m
式（15)を行列表現によって書き換えると以下のようになる。
X (n)=G -U(n) ー(17)
m m
なお、
U(n)=[u(n),u(n-l),...,u(n-T-N+l)]T
X (n)=[x (n),x (n— l)，...，x (n— N)]T
m m m m
g =[g (0),g (l),...,g (T-l)]
m m m m
[数 11] Gm二
Figure imgf000019_0001
である、また、 [·]は行列，の転置を意味する。
[M= 1 (原理 1)の場合の後部残響の推定]
前述のように原理 1では、観測される音響信号を例えば式（5)のようにモデルィ匕す る。式（5)において予測誤差成分 e (n)のエネルギーを最小にする線形予測係数 α
1 1
(Ρ)を求めることは、以下の正規方程式を解くことと等価である。
[0042] (E{x (n-l-D)-x (n— 1— D)})' A=E{x (n— 1— D)'x (n)} •(18)
なお、 Ε{·}は，の時間平均を示し、 Αは式（5)の線形予測係数 α (ρ)の行列表現 A
1,1
=ί (1)， (2)，···，α (Ν— 1)]Τを示す。
1,1 1,1 1,1
よって、以下のように Αを求めることができる。
A=(E{x (n-l-D)-x T(n-1-D)})_1-E{x (n- 1- D)'x (n)} 〜(19)
1 1 1 1
式（19)の ( —1内を展開すると以下のようになる。
E{x (n-l-D)-x τ(η- 1- D)}=G ·Ε{υ(η- 1- D)'UT(n- 1- D)}'G T
σ -G -G ---(20)
ここで、白色信号 u(n)の自己相関行列は、 E{U(n-l-D)'UT(n-l-D)}= σ ^·Ιとなると仮 定した。なお、 σ 2は u(n)の分散を示し、 Iは単位行列を示す。
[0043] また、式（19)の E{x (n-l-D)-x (n)}は、以下のように展開できる。
E{x(n-l-D)-x(n)}=G ·Ε{υ(η- 1- D)'U (n)}'g '=σ -G -g •(21)
late'l
なお、 g =[g(D),g(D+l),...,g(T- 1),0,...,0]T ある。すなわち、 g は g(n)の D個目 late'l late'l 以降の要素を表し、後部残響に相当する。
式（20) (21)を用い、式（19)の Aは以下のように書き直すことができる。なお、（·)— は-の逆行列を表す。
A=(G -G T -G -g •(22)
late'l
：で、（5)の線形予測係数の行列表現 Aを音響信号の行列表現 X (n)に掛け合 わせ、その 2乗の平均をとると以下のようになる。
Figure imgf000020_0001
=|| AT-G -E{U(n)-UT(n)}-GT-A ||
1 1
=|| σ 2-AT-G -GT-A II 〜(23)
=11 σ"2·§ T.GT.(G .GT)— i.G .g T||
u late'l 1 1 1 1 late'l
≤ll σ 2·§
late'l T|H|GT.(G .GT)— || . ||g T|| -(24)
u 1 1 1 1 late'l
=11 σ 2-g ΊΙ2 -(25)
u late'l
ここで II · IIは行列'の Lノルムを示す。また、式（23)の導出のため、白色信号 u(n) の自己相関行列は、
Figure imgf000020_0002
2 ·Ιのように展開されると仮定した。十分に長い 音響信号に対してこの分解が成立する。また、式 (24)の導出には、式 (22)とコーシ 一'シュワルツの不等式を用いた。さらに、式（25)の導出には、 II GT'(G -GT)_1-G
1 1 1 1
IIが射影行列であり、そのノルムが 1になることを用いた。
[0045] また、 σ 2は白色信号 u(n)の分散を示し、 g は後部残響に対応する成分であるた u late'l
め、式（25)の II σ 2-g τ
late'l II 2は後部残響成分のパワーを示す。よって、（5)の線形 u
予測係数の行列表現 Aを音響信号の行列表現 X (n)に掛け合わせ、その 2乗の平均
1
をとつた値は、後部残響成分のパワーを常に正確に推定する値であるとはいえない までも、後部残響成分のパワーを過大推定する値ではな 、。
[M≥ 2 (原理 2)の場合の後部残響の推定]
マルチチャネルマルチステップ線形予測モデルは、前述の式（ 13)で定式化できる 。ここで、式（13)の [N/M]を Lとすると、式（13)は以下のようになる。
[0046] [数 12]
M L
xw(n)=∑∑aw,m(p)-xm(n— p— D) + ew(j^ —(26)
m=】 p=I 式（26)において予測誤差成分 e (n)のエネルギーを最小にする線形予測係数 a w w,m
(P)を求めることは、以下の正規方程式を解くことと等価である。
(E{X(n-l-D) . XT(n-l-D)}) . A =E{X(n— 1— D) . X(n)} · "(27)
なお、 X(n)=[X T(n),X T(n),...,X T(n)]Tであり、 Aは式 (26)の線形予測係数 a (p)
1 2 w w,m の行列表現であり A =[ a (l),...,a (L),a (l),...,a (L)]Tである。
w w,l w,l w,2 w, [0047] よって、 Aは以下のように得られる。なお、（·)+は、行列 ( のムーア.ペンローズ型 一般化逆行列を示す。
A =(E{X(n-l-D) . Χτ(η— 1— D)})+ . E{X(n— 1— D) . X(n)} · "(28)
M=lの場合と同様に式（28)を展開すると、 Aは以下のように変形できる。
A =(G-GT)+-G-g
w late,w
=(GT)+-g -(29)
late,w
なお、 G=[G T,G T,...,G T]Tであり、 g =[g (D),g (D+l),...,g (T- 1),0,...,0]丁である。
1 2 late,w w w w また、 Gは列フルランクである。
[0048] 次に、推定された線形予測係数 α (ρ)の行列表現 Αを用いて、複数のセンサで w,m w
観測された多チャンネルの音響信号力 後部残響を推定する。そのために、ベクトル X(n)の転置と式（26)の線形予測係数 a (p)の行列表現 Aとを掛け合わせると以下 w,m w
のようになる。
Χτ(η)· A =UT(n)-GT- A
=UT(n)-GT-(GT)+-g -(30)
late,w
=UT(n)-GT-G-(GT-G)_1-g ·'·(31)
late,w
=UT(n)-g ー(32)
late,w
なお、式（30)の導出には式（29)を用い、式（31)の導出にはのムーア.ペンローズ 型一般ィ匕逆行列の定義を用いた。ここで、 UT(n)-g
late,wは音響信号の後部残響成分を 意味する。よって、式（28)のベクトルの転置と式（26)の線形予測係数 a (p)の行 w,m 列表現 Aとを掛け合わせることにより、音響信号の後部残響成分を正確に推定でき ることがわ力る。言い換えると、マルチチャネルマルチステップ線形モデルを用いるこ とにより、常に正確に後部残響成分を推定することができることがわかる。
[0049] 〔マルチステップ線形予測モデルの Dの値と音響信号の短時間相関〕
次に、マルチステップ線形予測モデルの Dの値と音響信号の短時間相関との関係 について説明する。
原理 1, 2の方法は、式 (4) (12)の近似が成り立つことを前提にした方法である。つ まり、原理 1, 2の方法では、室内伝達関数 h (n)と式（15)に示される合成伝達関数 g m m
(n)との差 ( II h (n) II - II g (n) || ) (m≥l)が十分小さい場合に、正確な後部残響除 m m 去ができる。
[0050] 図 23Aは室内伝達関数値 hを縦軸にとり時間（ms)を横軸にとったグラフである。図 23Bは合成伝達関数値 gを縦軸にとり時間（ms)を横軸にとったグラフである。また、 図 23Cは室内伝達関数 hと合成伝達関数 gとのエネルギー差を縦軸にとり時間（ms) を横軸にとったグラフである。
図 23Aに例示するように、室内伝達関数値 hは時間の経過とともに指数減衰する。 また、図 23Bに例示するように、合成伝達関数値 gも時間の経過とともに指数減衰す る。また、図 23Cに例示するように、室内伝達関数値 hや合成伝達関数値 gが大きな 時間ではそれらのエネルギー差も大きぐ室内伝達関数値 hや合成伝達関数値 gが 小さな時間ではそれらのエネルギー差も小さい。すなわち、時間の経過とともに室内 伝達関数 hと合成伝達関数 gとのエネルギー差も小さくなつていく。そして、「或る時間 」の経過後には、当該エネルギー差は、音声信号全体のエネルギーに対して無視で きるほど小さくなる (所定の閾値以下又は未満となる)。そのため、正確な後部残響除 去を行うためには、式（5) (13)のマルチステップ線形予測モデルの Dを当該「或る時 間」以上に設定することが望ましい。しかし、室内伝達関数 hと合成伝達関数 gとのェ ネルギー比や d(z)は未知であり当該「或る時間」も不定である。従って、一般に、経験 則から当該「或る時間」を推測し、その推測に基づ 、てマルチステップ線形予測モデ ルの Dの値を設定することになる。そして、より望ましくは、この「或る時間」の推測が 困難であることを想定し、前述の擬似白色化によって d(z)成分を抑制する。これにより 、室内伝達関数 hと合成伝達関数 gとのエネルギー差を無視でき正確な後部残響除 去が可能となる、 Dの設定可能範囲が広がる。なお、一般に Dの下限値は 1であるが 、擬似白色化によって d(z)成分を十分抑制できるなら D = 0であっても力まわない。 また、マルチステップ線形予測モデルの Dの上限値としては、離散時刻 nでの X (n) m の η+1+D時点での残響成分が所定値 (例えば、離散時刻 nでの X (n)よりも 60dB低い m
値)以上又は超える値を例示できる。
[0051] 〔第 1実施形態〕
次に、本発明の第 1実施形態について説明する。第 1実施形態はセンサ数 Mが M ≥ 2の場合の実施形態である。 [0052] <ハードウェア構成 >
図 3は、本実施形態における残響除去装置 10のハードウェア構成を例示したブロッ ク図である。
図 3に例示するように、この例の残響除去装置 10は、 CPU (Central Processing Uni t) 11、入力部 12、出力部 13、補助記憶装置 14、 ROM (Read Only Memory) 15、 R AM (Random Access Memory) 16及びバス 17を有している。
この例の CPU11は、制御部 l la、演算部 l ib及びレジスタ 11cを有し、レジスタ 11 cに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部 12は、データが入力される入力インターフェース、キーボード、マウス等であり、出力 部 13は、データが出力される出力インターフェース等である。補助記憶装置 14は、 例えば、ハードディスク、 MO (Magneto- Optical disc)、半導体メモリ等であり、残響 除去装置 10としてコンピュータを機能させるためのプログラムが格納されるプログラム 領域 14a及び各種データが格納されるデータ領域 14bを有している。また、 RAM16 【ま、 SRAM (Static Random Access Memory) ^ DRAM (Dynamic Random Access M emory)等であり、上記のプログラムが格納されるプログラム領域 16a及び各種データ が格納されるデータ領域 16bを有している。また、ノ ス 17は、 CPU11、入力部 12、 出力部 13、補助記憶装置 14、 ROM 15及び RAM 16を通信可能に接続する。
なお、このようなハードウェアの具体例としては、例えば、パーソナルコンピュータの 他、サーバ装置やワークステーション等を例示できる。
[0053] <プログラム構成 >
上述のように、プログラム領域 14a, 16aには、本形態の残響除去装置 10の各処理 を実行するための残響除去プログラムが格納される。残響除去プログラムを構成する 各プログラムは、単一のプログラム列として記載されていてもよぐまた、少なくとも一 部のプログラムが別個のモジュールとしてライブラリに格納されていてもよい。また、各 プログラムが単体でそれぞれの機能を実現してもよいし、各プログラムがさらに他のラ イブラリを読み出して各機能を実現するものでもよい。
[0054] くハードウェアとプログラムとの協働 >
CPU11 (図 3)は、読み込まれた OS (Operating System)プログラムに従!、、補助記 憶装置 14のプログラム領域 14aに格納されている上述のプログラムを RAM16のプ ログラム領域 16aに書き込む。同様に CPU11は、補助記憶装置 14のデータ領域 14 bに格納されている各種データを、 RAM16のデータ領域 16bに書き込む。そして、こ のプログラムやデータが書き込まれた RAM16上のアドレスが CPU11のレジスタ 1 lc に格納される。 CPU11の制御部 11aは、レジスタ 11cに格納されたこれらのアドレス を順次読み出し、読み出したアドレスが示す RAM16上の領域力もプログラムゃデー タを読み出し、そのプログラムが示す演算を演算部 l ibに順次実行させ、その演算 結果をレジスタ 1 lcに格納して!/、く。
[0055] 図 1は、このように CPU11に上述のプログラムが読み込まれて実行されることにより 構成される残響除去装置 10の機能構成を例示したブロック図である。また、図 2Aは 、モデル適用部 10bの機能構成の詳細を例示したブロック図であり、図 2Bは、遅延 調節部 lOiの機能構成の詳細を例示したブロック図である。
図 1に例示するように、残響除去装置 10は、メモリ 10aと、モデル適用部 10bと、後 部残響予測部 10cと、周波数領域変換部 10dと、後部残響除去部 10eと、複素スぺ タトル生成部 10fと、時間領域変換部 10gと、遅延量算出部 10hと、遅延調節部 10iと 、メモリ 10jと、制御部 10kとを有する。
[0056] また、図 2Aに例示するように、モデル適用部 10bは、擬似白色化部 100と第 1線形 予測係数算出部 200とを有しており、擬似白色化部 100は、第 2線形予測係数算出 部 110と逆フィルタ処理部 120とを有している。また、第 2線形予測係数算出部 110 は、自己相関係数算出部 111と、自己相関係数平均化部 112と、方程式演算部 113 とを有している。また、図 2Bに例示するように、遅延調節部 10iは、遅延部 10iaと、遅 延補正部 10ibとを有している。
ここで、メモリ 10a及びメモリ 10jは、補助記憶装置 14、 RAM16、レジスタ l lc、そ の他のバッファメモリやキャッシュメモリ等の何れか、あるいはこれらを併用した記憶領 域に相当する。また、モデル適用部 10b、後部残響予測部 10c、周波数領域変換部 10d、後部残響除去部 10e、複素スペクトル生成部 10f、時間領域変換部 10g、遅延 量算出部 10h、遅延調節部 10i及び制御部 10kは、 CPU11に残響除去プログラム を実行させることにより構成されるものである。 [0057] また、本形態の残響除去装置 10は、制御部 10kの制御のもと各処理を実行する。 また、特に示さない限り、演算過程の各データは、逐一、メモリ 10jに格納 ·読み出さ れ、各演算処理が進められる。メモリ 10aやメモリ 10jには、 X (n)、 a (p)等の各デー
1 1,2
タが格納されるが、それらはデータ属性、下付き添え字の値〔例えば、データ X
1 ( の 下付添え字「1」〕及び（·）内の各値〔例えば、データ X (n)の n〕に対応付けられて格納
1
され、これらを指定することにより、対応するデータを抽出できるものとする。
[0058] <残響除去処理 >
次に、本形態の残響除去処理について説明する。
図 4, 5は、本形態の残響除去処理の全体を説明するためのフローチャートである。 また、図 6Aは、図 4のステップ S 1 (モデル適用過程）の詳細を説明するためのフロー チャートであり、図 6Bは、図 6Aのステップ S21 (擬似白色化過程)の詳細を説明する ためのフローチャートである。また、図 7Aは、図 6Bのステップ S31 (第 2線形予測係 数算出過程)の詳細を説明するためのフローチャートであり、図 7Bは、図 4のステップ S4の詳細を説明するためのフローチャートである。以下、これらの図を用い、本形態 の残響除去処理を説明する。
[0059] [前処理]
まず、 M (M≥2)個のセンサでそれぞれ観測された M個のチャネル w (w= l , M)の音響信号が所定の標本ィヒ周波数でサンプリングされ、チャネル毎の離散音響 信号値 X (η)· · ·χ (η)が生成される。なお、 ηは離散時間を示す。生成された各チヤネ
1
ルの離散音響信号値 X (η · ·χ (η)は、それぞれメモリ 10aに格納される。なお、本形
1
態では、残響除去を行う全時間区間の離散音響信号値 X (n) -x (n)を事前に取得し
1
、メモリ 10aに格納しておき、分析フレーム毎に、以下の各過程を実行する。しかし、 離散音響信号値 X (η · ·χ (η)の取得をリアルタイムで行いつつ、以下の各過程を実
1
行してちょい。
[0060] また、残響除去装置 10が最終的に出力する情報が、後部残響除去信号の振幅ス ベクトルのみであるのか、それとも位相成分をも有する音響信号なのかを示す情報を メモリ 10jに格納しておく。本形態では、フラグ (データ） δをメモリ 10jに格納しておく 。そして、出力する情報が直接音の振幅スペクトルのみである場合 δ = 1とし、位相 成分をも有する音響信号である場合 δ = 0とする。なお、残響除去装置 10が最終的 に出力する情報が後部残響除去信号の振幅スペクトルのみでよい場合とは、例えば
、残響除去装置 10が最終的に出力する情報を音声認識システムの入力情報として 利用する場合を例示できる。
[0061] 以下、本形態の後部残響除去処理を説明する。なお、以下では、 1つの分析フレ ームの処理過程のみを説明するが、実際は複数の分析フレームに対して同様な処 理が行われる。また、分析フレームとは、複数の離散時間 ηを含む時間区間を意味す る。
[モデル適用過程 (ステップ S 1) ]
モデル適用過程では、モデル適用部 10bが、メモリ 10aから読み込んだ 1分析フレ ーム分の Mチャネルの離散音響信号値 X (η · ·χ (η)を用い、式（13)に示したマルチ
1
ステップ線形予測モデルの各線形予測係数 α (ρ · · o (p)を算出する (ステップ S w,l w,
Do以下、この処理の詳細を階層的に説明する。
[0062] [モデル適用過程 (ステップ S 1)の詳細（図 6A) ]
図 6Aに例示するように、モデル適用過程では、まず、擬似白色化（Pre-whitening) 部 100 (図 2A)が、入力された離散音響信号値 X (n)-x (n)が有する短時間区間で
1
の自己相関成分を抑制し、擬似白色化した離散音響信号値 X ' (I！)… X ' (η)
1 を生成し て出力する (擬似白色化過程 Ζステップ S21)。すなわち、各離散時間の上記離散 音響信号値 χ (ι！)… X (n)
1 から、当該離散時間 n直前の短時間区間内の各離散音響信 号値と自己相関性を持つ自己相関成分を抑制し、擬似白色化した離散音響信号値 X ' (η)· · ·χ ，(η)を生成する。
1 Μ
[0063] 前述したように、マルチステップ線形予測モデルは、 d(z)に従った短期的な自己相 関 (短時間区間での自己相関成分)が抑制された離散音響信号によく合致する。よつ て、このような短期的な自己相関を離散音響信号値 X (η)· · ·χ (η)から抑制することは、
1
後部残響を精度良く推定する上で望まし 、。
次に、上述の擬似白色化された離散音響信号値 X ' (η · ·χ ' (η)が第 1線形予測係
1
数算出部 200 (図 2Α)に入力され、第 1線形予測係数算出部 200は、当該擬似白色 化された離散音響信号値 X ' (η)〜χ ' (η)を用い、式（13)に示したマルチステップ線 形予測モデルの各線形予測係数 α (Ρ · · « (ρ)
w,l w, を算出して出力する (第 1線形予 測係数算出過程 Zステップ S22)。なお、一例として、式（13)における遅延 Dを、例 えば 30ms (標本化周波数 12000Hzの場合、 300タップに相当）とし、 Nを例えば 30 00程度とする。また、x ' (I！)… X ' (η)を用いて α (ρ · · α (ρ)を算出する方法として
1 w,l w,
は、自己相関法 (correlation method)や共分散法 (covariance method)を例示できる 。また、 MATLAB (登録商標）等を利用してこの処理を行ってもよい。
[0064] [擬似白色化過程 (ステップ S21)の詳細（図 6B) ]
次に、擬似白色化過程 (ステップ S21)の詳細を説明する。本形態では、一例として 、線形予測によって擬似白色化過程を行う。まず、図 6Bに例示するように、第 2線形 予測係数算出部 110が、入力された離散音響信号値 X (n)-x (n)を用い、短時間線
1
形予測モデルの各線形予測係数 b(l) b(q)を算出して出力する (第 2線形予測係数 算出過程 Zステップ S31)。なお、「短時間線形予測モデル」とは、短時間区間にお けるチャネル wの各離散音響信号値を線形結合した線形予測項と、予測誤差項と、 の和によって、短時間区間直後の離散時間 nにおける当該チャネル wの離散音響信 号値を表現した線形予測モデルを意味する。ここで、「短時間区間」は、マルチステツ プ線形予測モデルの定義で示した「長時間区間」よりも短い。本形態では、以下の短 時間線形予測モデルを用いる。
[0065] [数 13] xm (n) =∑ b(i) - xm(n - i) + xm'(n) …（33)
i=l なお、式（33)における x '(η)の項が予測誤差項に相当し、それ以外の右辺の項が m
線形予測項に相当する。また、 b(i)は、線形予測項の i番目の線形予測係数を意味す る。また、式 (33)における短時間区間は、離散音響信号値 X (η)· · ·χ (η)の短時間相
1
関成分の系列長やパワーに応じて適宜設定すればよい。一例として、短時間区間を 30ms (標本ィ匕周波数 12000Hzの場合 q = 300)程度とすることができる。この場合、 以下のステップ S32により、短時間区間 30ms内で自己相関を持つ初期反射音成分 や直接音成分が抑制できる。
[0066] 次に、逆フィルタ処理部 120 (図 2A)に、各線形予測係数 b(l)"'b(q)と、離散音響 信号値 x (η ··χ (η)とが入力される。逆フィルタ処理部 120は、各線形予測係数 b(l)
1
• · -b(q)を短時間線形予測モデル (式（33) )に代入して得られる逆フィルタ
[0067] [数 14]
q
xm '(η) = xm (n) -∑b(i) -xm(n-i) ■·· (34)
i=l に、離散音響信号値 x (η)···χ (η)を代入し、それによつて得られる短時間線形予測モ
1
デルの予測誤差項の値を、擬似白色化した離散音響信号値 X '(I！)… X '(η)として算
1
出して出力する（逆フィルタ処理過程 Ζステップ S32)。
[第 2線形予測係数算出過程 (ステップ S31)の詳細（図 7A) ]
次に、第 2線形予測係数算出過程 (ステップ S31)の詳細を説明する。本形態の例 では、自己相関法を用いて第 2線形予測係数算出過程を実行する。しかし、共分散 法などその他の公知の線形予測係数算出方法を用いて第 2線形予測係数算出過程 を実行してもよい。
[0068] まず、図 7Aに例示するように、まず、自己相関係数算出部 111 (図 2A)力 入力さ れた離散音響信号値 X (η)···χ (η)を用い、チャネル毎に離散音響信号値 X (η)···χ (η)
1 1 の自己相関係数 c G)〜c (0
1 を算出して出力する（自己相関係数算出過程 Zステップ
S41)。具体的には、例えば、自己相関係数算出部 111が、以下の式（35)に従って 、自己相関係数 c(i) c (0を算出して出力する。なお、 Tは、 q(式 (33) (34))よりも
1
大きぐ 1分析フレームが有するサンプル数より小さな自然数である。また、以下の演 算は、例えば、上述の離散音響信号値 X (n)〜x (n)に、 n<0, n≥Tの範囲で 0となる
1
ような有限長の窓 (ハミング窓など）を乗じた後に行われる。また、 i=0,l,...,qである。
[0069] [数 15] cm(i)= ∑xm(n)-xm(n + i) -(35)
η=0 次に、自己相関係数平均化部 112(図 2Α)に各チャネルの自己相関係数 c(i) c (
1
0が入力され、自己相関係数平均化部 112は、これら自己相関係数 c G)〜c (0をチヤ
1
ネル間で平均した平均自己相関係数 c(i)を算出して出力する（自己相関係数平均化 過程 Zステップ S42)。この平均自己相関係数 c(i)の算出は、例えば、以下の式（36) に従って行われる。
[0070] [数 16]
Figure imgf000029_0001
次に、上述のように求められた各平均自己相関係数 c(i)が方程式演算部 113に入 力され、方程式演算部 113は、各平均自己相関係数 c(i)を用い、以下のように Yule- Walkerの方程式 (正規方程式)の解を求めることにより、短時間線形予測モデルの各 線形予測係数 b(l) b(q)を算出して出力する (方程式演算過程 Zステップ S43)。
[0071] [数 17] b(l)、 c(0) c(l) - c(q - l)
b(2) c(l) c(0) c(2)
― (37)
c(l)
、b(q)ノ 、c(q— 1) - c(l) c(q). 以上のように、チャネル毎に生成された自己相関係数 c (i)〜c
1 (0をチャネル間で平 均した平均自己相関係数 c(i)を用い、各線形予測係数 b(l) b(q)を算出する構成とし たため、何れかのチャネルで生成された自己相関係数を用いる場合に比べ、線形予 測係数 b(l) b(q)の算出精度が向上し、離散音響信号値 X (n)-x (n)が具備する d(z)
1
に従った短期的な自己相関をより効果的に抑制することができる。前述のように、これ は、後部残響除去の精度向上につながる（モデル適用過程 (ステップ S1)の詳細の 説明終わり)。
[0072] [後部残響予測過程 (ステップ S2) ]
モデル適用過程 (ステップ S1)の後、後部残響予測部 10cに、メモリ 10aから読み 込まれた離散音響信号値 X (η) · · ·χ (η)と、モデル適用過程 (ステップ SI)で算出され
1
た各線形予測係数 α ( )… α (ρ)とが入力される。そして、後部残響予測部 10cは
w,l w,
、各線形予測係数 α (ρ)… ひ （ρ)と離散音響信号値 X (η)· · ·χ (η)とをマルチステツ
w,l w, 1
プ線形予測モデルの線形予測項に代入して得られた線形予測値を、後部残響予測 i (n)(w=l,...,M)として算出して出力する (ステップ S2)。本形態では、式（13)のマ ルチステップ線形予測モデルを用いているため、後部残響予測部 10cは、以下の式 (38)に従って後部残響予測値 r (n)を求めて出力する。
[0073] [数 18]
M [N/M]
rw (n) =∑ ∑ W;m(p) - xm (n - p - D) 〜(38)
m=l p-1
[周波数領域変換過程 (ステップ S3) ]
次に、周波数領域変換部 10dに、メモリ 10aから読み込まれた離散音響信号値 X (n
1 · ·χ (η)と、後部残響予測過程 (ステップ S2)で算出された後部残響予測値 r (ι！)… r (
1 n)とが入力される。周波数領域変換部 10dは、入力された離散音響信号値 X (η)· · ·χ (
1 η)を周波数領域の離散音響信号値 X (f,t)-X (f,t)に変換し、後部残響予測値 r (I！)…
1 1 r (n)を周波数領域の後部残響予測値 R (f,t)〜R (f,t)に変換する (ステップ S3)。本形
1
態では、例えば、窓長 30msのハユング窓などの有限長の窓関数を用い、短時間フ 一リエ変換（DFT: Discrete Fourier Transform)等によって、これらの周波数領域への 変換を行う。周波数領域変換部 10dは、これらの処理により、周波数領域の離散音 響信号値 X (f,t)-X (f,t)の振幅スペクトル |X (f,tル ·'|Χ (f,t)|と位相情報 arg[X (f,t)]-a
1 1 1 rg[X (f,t)]、及び、周波数領域の後部残響予測値 R (f,t)"'R (f,t)の振幅スペクトル |R (
1 1 f,tル |R (f,t)|と位相情報 arg[R (f,t)]〜arg[R (f,t)]とを抽出し、出力する。なお、 arg[']
1
は、 'の偏角を意味する。
[0074] [後部残響除去過程 (ステップ S4) ]
次に、後部残響除去部 10eに、周波数領域の離散音響信号値の振幅スペクトル |X (f,tル ·'|Χ (f,t)|と、周波数領域の後部残響予測値の振幅スペクトル |R (f,tル "|R (f,t)|と
1
が入力される。そして、後部残響除去部 10eは、周波数領域の離散音響信号値の振 幅スペクトル |X (f,tル ·'|Χ (f,t)|と、周波数領域の後部残響予測値の振幅スペクトル |R (
1 1 f,tル "|R (f,t)|とのセンサ毎の相対値を求め、当該相対値を後部残響除去信号値の 振幅スペクトル予測値 |S (f,tル |S (f,t)|として出力する (ステップ S4)。以下に、この処
1
理の詳細を例示する。
[0075] [後部残響除去過程 (ステップ S4)の詳細（図 7B) ]
図 7Bに例示するように、まず、後部残響除去部 10eが、振幅スペクトル |X (f,tル ·'|Χ (f,t)|と、周波数領域の後部残響予測値の振幅スペクトル |R (f,tル R (f,t)|とを用い、
M 1 M
各 m (m= l, . . . , M)に対して
|X (f,t)|k-|R (f,t)|k- const ー(39)
m m
の演算を行い、各演算結果をメモリ 10jに格納する（ステップ S51)。なお、 constは定 数を示し、 kは自然数を示す。本形態では、 const=1.0とし、 k=2とする。
[0076] 次に、制御部 10kは、変数 mに 1を代入して、当該 mをメモリ 10jに格納する (ステツ プ S52)。次に、制御部 10kは、メモリ 10jに格納された式（39)の演算結果が以下の 関係を満たすか否かを判断する (ステップ S53)。
|X (f,t)|k-|R (f,t)|k-const>0 〜(40)
m m
ここで、式 (40)の関係を満たすと判断された場合、制御部 10kは後部残響除去部 10eに命令を与え、後部残響除去部 10eは、
IS (f,t)|=(|X (f,t)|k-|R (f,t)|k-const)1A -(41)
m m m
によって、変数 mに対応する |S (f,t)|を算出して出力する (ステップ S54)。一方、式 (4 m
0)の関係を満たさないと判断された場合、制御部 10kは後部残響除去部 10eに命 令を与え、後部残響除去部 10eは、 0又は十分小さい値を変数 mに対応する |S (f,t)| m として出力する（ステップ S55)。なお、ステップ S53〜S55の処理は半波整流処理に 相当する。ステップ S53〜S55以外の方法によって半波整流を行ってもよい。
[0077] 半波整流後、制御部 10kはメモリ 10jを参照し、変数 mが Mである力否かを判断す る（ステップ S56)。ここで、 m=Mでなければ、制御部 10kは、 m+ 1を新たな変数 m の値としてメモリ 10jに格納し (ステップ S57)、処理をステップ S53に戻す。一方、 m =Mであれば、制御部 10kは、ステップ S4の処理を終了させる（後部残響除去過程 (ステップ S4)の詳細の説明終わり）。
[フラグ判定過程 (ステップ S5, S6) ]
ステップ S4の後、制御部 10kが、メモリ 10jに格納されているフラグ δを読み出し、 そのフラグ δ力 振幅スペクトルのみを出力することを示すフラグである力否力 すな わち、 δ = 1であるか否かを判断する (ステップ S5)。ここで、 δ = 1であれば、制御部 10kは、後部残響除去過程 (ステップ S4)で後部残響除去部 10eが生成した後部残 響除去信号値の振幅スぺ外ル予測値 |S (f,tル "|S (f,t)|を、残響除去装置 10の最終 的な出力情報として出力し (ステップ S6)、当該分析フレームの処理を終了させる。こ のように出力された振幅スぺ外ル予測値 Is (f,t)|-|s (f,t)|は、例えば、残響除去装置
1
10の後段に続く音声認識システム等のアプリケーションに渡され、特徴量に変換され る。
[0078] 一方、 δ =0であれば、制御部 10kは、以下のステップ S7以降の処理を実行させる [複素スペクトル生成過程 (ステップ S7) ]
複素スペクトル生成過程では、まず、複素スペクトル生成部 10fに、後部残響除去 部 10eから出力 (ステップ S4)された後部残響除去信号値の振幅スペクトル予測値 |S
1
(f,tル |S (f,t)|と、周波数領域変換部 10dから出力 (ステップ S3)された周波数領域の 離散音響信号値の位相情報 arg[X (f,t)]-arg[X (f,t)]とが入力される。複素スぺ外ル
1
生成部 10fは、これらの情報を用い、以下の式 (42)に従って、後部残響除去信号値 の複素スペクトル予測値 S (f,t)-S (f,t)を算出して出力する (ステップ S7)。なお、 exp(
1
は、ネィピア数を底とした指数関数であり、 jは虚数単位である。
[0079] S (f,t)=|S (f,t)卜 exp(j'arg[X (f,t)]) - --(42)
m m m
[時間領域変換過程 (ステップ S8) ]
ステップ S7の後、時間領域変換部 10gに、上述の後部残響除去信号値の複素ス ベクトル予測値 S (f,t)〜S (f,t)が入力される。そして、時間領域変換部 10gは、後部残
1
響除去信号値の複素スぺ外ル予測値 S (f,t)-S (f,t)を時間領域に変換した後部残
1
響除去信号推定値 s (n)-s (η)を算出して出力する (ステップ S8)。なお、時間領域
1 M
への変換は、例えば、逆フーリエ変換によって行う。
[0080] [遅延量算出過程 (ステップ S9) ]
ステップ S8の後、遅延量算出部 10hに、後部残響除去信号推定値 s (n)-s (η)が
1
入力される。そして、遅延量算出部 10hは、後部残響除去信号推定値 s (n)-s (η)の
1
チャネル間相互相関を極大にする後部残響除去信号推定値の遅延量 τ …て を、
1 各チャネルについて決定する（ステップ S9)。以下にこの具体例を示す。
[遅延量算出過程 (ステップ S9)の具体例]
まず、遅延量算出部 10hは、入力された分析フレーム内の後部残響除去信号推定 値 s (η)· ··8 (n)に対し、以下の式 (43)のようなチャネル間相関関数 A ( τ )の関数値
1 m
を求める。なお、 Ε{·}は平均演算子である。
[0081] A ( て )=E{s (n) - s (η+ τ )} · · '(43)
m 1 m
次に、遅延量算出部 lOhは、各 mについて、チャネル間相関関数 A ( τ )を極大 (例 m
えば最大）とする τを τ として求める。例えば、チャネル間相関関数 A ( τ )を最大と m m
する τを τ とする場合には、遅延量算出部 lOhは、
て =max{ A ( τ )} - "(44)
m m
を算出して出力する。なお、 max{'}は ·の最大値を検出する。また、 τ は、チャネル m の後部残響除去信号推定値の遅延量であり、遅延量には τ =0も含む (遅延両算 出過程 (ステップ S9)の具体例の説明終わり）。
[0082] [遅延調節過程 (ステップ S 10, S 11) ]
ステップ S9の後、各遅延量 τ … τ と、後部残響除去信号推定値 s (n)-s (n)とが
1 1
、遅延調節部 10i (図 1)に入力される。そして、遅延調節部 lOiの遅延部 lOia (図 2B )は、各チャネルの後部残響除去信号推定値 s (n)-s (η)
1 を、それぞれ遅延量 τ
1… て だけ遅延させて s n+ τ )· ··8 (η+ τ )を算出して出力する (ステップ S 10)。
1 1
次に、 s (η+ τ )-s (η+ τ )が、遅延補正部 lOib ( (図 2Β) )に入力され、遅延補正
1 1
部 lOibは、以下の式（45)に従い、 s di+ τ )' "s (η+ τ )の和を算出し (ステップ Sl l
1 1
)、この和を補正残響除去信号値 s(n)として出力して (ステップ S12)、当該分析フレ ームの処理を終了する。各チャネルの後部残響信号に含まれる誤差成分は統計的 に独立であると過程した場合、この操作により誤差を抑圧できることになる。
[0083] [数 19]
M
s(nj =∑sm(n + Tm) —（45) 〔第 2実施形態〕
次に、本発明の第 2実施形態について説明する。第 2実施形態は、第 1実施形態の 変形例である。
第 1実施形態の [後部残響予測過程 (ステップ S2) ]では、各線形予測係数 α (ρ) w,l
… (p)と擬似白色化していない離散音響信号値 x (η)· · ·χ (η)とをマルチステップ 線形予測モデルの線形予測項に代入して得られた線形予測値を、後部残響予測値 r (n)(W=l,...,M)として算出していた。また、 [後部残響除去過程 (ステップ S4) ]では、 擬似白色化して!ヽな 、周波数領域の離散音響信号値の振幅スぺ外ル |x 1 (f,t)| · · - |x
(f,t)|と周波数領域の後部残響予測値の振幅スペクトル |R (f,tル |R (f,t)|とのセンサ毎
1
の相対値を求め、当該相対値を後部残響除去信号値の振幅スぺ外ル予測値 Is 1 (f,t) 卜 "Is (f,t)|としていた。
[0084] これに対し、第 2実施形態では、 [後部残響予測過程]にお!、て、各線形予測係数 a (p)…ひ （p)と擬似白色化した離散音響信号値 X (I！)… X (n)とをマルチステップ w,l w, 1
線形予測モデルの線形予測項に代入して得られた線形予測値を、後部残響予測値 r (n)(W=l,...,M)として算出する。また、第 2実施形態では、 [後部残響除去過程]にお いて、擬似白色化後の周波数領域の離散音響信号値の振幅スペクトル |X (f,t)|-|x
1'
(f,t)|と、周波数領域の後部残響予測値の振幅スペクトル |R
1 (f,tル R (f,t)|とのセンサ 毎の相対値を求め、当該相対値を後部残響除去信号値の振幅スぺ外ル予測値 Is (f ,tル "Is (f,t)|する。このようにして得られた後部残響除去信号値の振幅スペクトル予 測値 Is (f,tル |s (f,t)|は、短時間相関成分が抑制された (擬似白色化された)ものとな
1
る。そのため、このように得られた振幅スペクトル予測値 Is 1 (f,tル |s (f,t)|は、例えば音 声認識システムのように、擬似白色化されたデータが必要なシステムへの入力として 好適である。このようなシステムにおいて、擬似白色化する前処理が不要となるから である。
[0085] これらが第 1実施形態と第 2実施形態との相違点である。以下では、第 1実施形態と の相違点を中心に説明し、第 1実施形態と共通する事項については説明を省略する
<ノヽードウエア構成 >
第 1実施形態で説明したのと同様である。
<ハードウェアとプログラムとの協働 >
本形態の残響除去装置もコンピュータに所定のプログラムが読み込まれて実行さ れることにより構成される。図 8は、本形態の残響除去装置 310の機能構成を例示し たブロック図である。また、図 9は、モデル適用部 310bの機能構成の詳細を例示した ブロック図である。なお、図 8, 9において、第 1実施形態と共通する部分については 第 1実施形態と同じ符号を用いた。
[0086] 図 8に例示するように、残響除去装置 310は、メモリ 10aと、モデル適用部 310bと、 後部残響予測部 310cと、周波数領域変換部 310dと、後部残響除去部 310eと、複 素スペクトル生成部 310fと、時間領域変換部 10gと、遅延量算出部 10hと、遅延調 節部 10iと、メモリ 10jと、制御部 10kとを有する。
また、図 9に例示するように、モデル適用部 310bは、擬似白色化部 100と第 1線形 予測係数算出部 200とを有しており、擬似白色化部 100は、第 2線形予測係数算出 部 110と逆フィルタ処理部 120とを有している。また、第 2線形予測係数算出部 110 は、自己相関係数算出部 111と、自己相関係数平均化部 112と、方程式演算部 113 とを有している。モデル適用部 310bと第 1実施形態のモデル適用部 10bとの相違点 は、モデル適用部 310bの逆フィルタ処理部 120が、擬似白色化した離散音響信号 値 X ' (I！)… X ' (η)を後部残響予測部 310cや周波数領域変換部 310dにも転送する
1
点である。
[0087] <残響除去処理 >
次に、本形態の残響除去処理について説明する。
図 10, 11は、本形態の残響除去処理の全体を説明するためのフローチャートであ る。以下、これらの図を用い、本形態の残響除去処理を説明する。
[前処理]
第 1実施形態と同様である。
[モデル適用過程 (ステップ S101) ]
モデル適用過程では、モデル適用部 310bが、メモリ 10aから読み込んだ 1分析フ レーム分の Mチャネルの離散音響信号値 X (n)〜x (n)を用い、式（13)に示したマル
1
チステップ線形予測モデルの各線形予測係数 α (ρ · · (X (p)を算出する (ステップ
w,l w,
S 101)。この処理は、第 1実施形態の [モデル適用過程 (ステップ S1) ]と同様であり 、離散音響信号値 X (η · ·χ (n)を擬似白色化する過程を含む。
1
[0088] [後部残響予測過程 (ステップ S102) ]
モデル適用過程 (ステップ S101)の後、後部残響予測部 310cに、モデル適用過 程 (ステップ S101)で擬似白色化された離散音響信号値 x '(I！)… X ，(n)と、モデル適
1
用過程 (ステップ S101)で算出された各線形予測係数 α (ρ ·· α (ρ)とが入力され w,l w,
る。
そして、後部残響予測部 310cは、各線形予測係数 α (ρ ·· o (p)と擬似白色化 w,l w,
された離散音響信号値 χ '(η ··Χ '(η)とをマルチステップ線形予測モデルの線形予
1
測項に代入して得られた線形予測値を、後部残響予測値 r (n)(W=l,...,M)として算出 して出力する（ステップ S102)。式（13)のマルチステップ線形予測モデルを用いて いた場合、後部残響予測部 310cは、以下の式 (46)に従って後部残響予測値 r (n) を求めて出力する。
[0089] [数 20]
M [N/M]
rw(n)= ∑ 厶 aw m(p)'xm'(n— p— D) '·'(46)
m=l p=l
[周波数領域変換過程 (ステップ S103)]
次に、周波数領域変換部 310dに、モデル適用過程 (ステップ S 101)で擬似白色 化された離散音響信号値 X '(I！)… X '(η)と、後部残響予測過程 (ステップ S102)で算
1
出された後部残響予測値 r (η)··τ (η)とが入力される。周波数領域変換部 31 Odは、
1
入力された擬似白色化後の離散音響信号値 X '(I！)… X '(η)
1 を周波数領域の離散音 響信号値 X '(f,t)-X '(f,t)に変換し、後部残響予測値 r(n) r (n)を周波数領域の
1 1
後部残響予測値 R (f,t)-R (f,t)に変換する (ステップ S103)。周波数領域変換部 31
1
Odは、これらの処理により、周波数領域の離散音響信号値 X '(f,t)-X '(f,t)の振幅
1
スペクトル |X，(f,tル ·'|Χ '(f,t)|と位相情報 arg[X '(f,t)]〜arg[X ' (f,t)]、及び、周波数
1 1
領域の後部残響予測値 R (f,t)〜R (f,t)の振幅スぺ外ル |R(f,tル "|R (f,t)|と位相情報
1 1
arg[R(f,t) arg[R (f,t)]とを抽出し、出力する。
1
[0090] [後部残響除去過程 (ステップ S 104)]
次に、後部残響除去部 310eに、周波数領域の離散音響信号値の振幅スペクトル I X '(f,t)|-|X '(f,t)|と、周波数領域の後部残響予測値の振幅スぺ外ル |R(f,tル "|R (f
1 1
,t)|とが入力される。そして、後部残響除去部 310eは、周波数領域の離散音響信号 値の振幅スペクトル |X，(f,tル ·'|Χ '(f,t)|と、周波数領域の後部残響予測値の振幅ス ベクトル |R (f,tル R (f,t)|とのセンサ毎の相対値を求め、当該相対値を後部残響除去
1
信号値の振幅スペクトル予測値 |S (f,tル "|S (f,t)|として出力する (ステップ S104)。
1
[0091] [フラグ判定過程 (ステップ S 105, S106) ]
ステップ S104の後、制御部 10kが、メモリ 10jに格納されているフラグ δを読み出し 、そのフラグ δ力 振幅スペクトルのみを出力することを示すフラグであるか否力、す なわち、 δ = 1であるか否かを判断する（ステップ S 105)。ここで、 δ = 1であれば、 制御部 10kは、後部残響除去過程 (ステップ S104)で後部残響除去部 310eが生成 した後部残響除去信号値の振幅スぺ外ル予測値 |S (f,tル |S (f,t)|を、残響除去装置
1
310の最終的な出力情報として出力し (ステップ S106)、当該分析フレームの処理を 終了させる。一方、 δ =0であれば、制御部 10kは、以下のステップ S107以降の処 理を実行させる。
[0092] [複素スペクトル生成過程 (ステップ S 107) ]
複素スペクトル生成過程では、まず、複素スペクトル生成部 310fに、後部残響除去 部 310eから出力（ステップ S104)された後部残響除去信号値の振幅スペクトル予測 値 |S (f,tル |S (f,t)|と、周波数領域変換部 10dから出力 (ステップ S3)された周波数領
1
域の離散音響信号値の位相情報 arg[X ' (f,t)]〜arg[X ' (f,t)]とが入力される。複素ス
1
ベクトル生成部 310fは、これらの情報を用い、以下の式 (47)に従って、後部残響除 去信号値の複素スペクトル予測値 S (f,t)-S (f,t)を算出して出力する (ステップ S107
1
) o
[0093] S (f,t)=|S (f,t)卜 exp(j'arg[X ' (f,t)]) - --(47)
m m m
[時間領域変換過程 (ステップ S108) ·遅延量算出過程 (ステップ S109) ·遅延調 節過程 (ステップ S 110, S111) ]
時間領域変換過程 (ステップ S108) ·遅延量算出過程 (ステップ S109) ·遅延調節 過程 (ステップ S110, S111)は、第 1実施形態の時間領域変換過程 (ステップ S8) · 遅延量算出過程 (ステップ S9) ·遅延調節過程 (ステップ S 10, S11)と同様である。
[0094] 〔第 3実施形態〕
次に、本発明の第 3実施形態について説明する。第 3実施形態は、第 1, 2実施形 態の変形例である。 第 1実施形態で例示した [第 2線形予測係数算出過程 (ステップ S31) ]では、第 2線 形予測係数算出部 110が、チャネル毎に生成した自己相関係数 c G)〜c (0をチヤネ
1
ル間で平均した平均自己相関係数 c(i)を用い、短時間線形予測モデルの各線形予 測係数 b(i)' · 'b(q)を算出して 、た。
[0095] これに対し、第 3実施形態の [第 2線形予測係数算出過程 (ステップ S31) ]では、第 2線形予測係数算出部 410が、 M個のセンサのうち、音響信号の音源に最も近い 1 つのセンサで観測された音響信号を複数の時点でサンプリングして得られた離散音 響信号値の自己相関係数を算出し、当該自己相関係数を用い、短時間線形予測モ デルの各線形予測係数を算出する。
この点が第 1実施形態との相違点である。そして、この構成は第 2実施形態へも適 用可能である。以下では、第 1, 2実施形態との相違点である第 2線形予測係数算出 部 410の構成及び [第 2線形予測係数算出過程 (ステップ S31 ) ]の処理のみを説明 し、第 1, 2実施形態と共通する事項については説明を省略する。
[0096] 図 12Aは、本形態の第 2線形予測係数算出部 410の機能構成を示したブロック図 である。なお、図 12Aにおいて、第 1実施形態と共通する部分については第 1実施形 態と同じ符号を用いた。また、図 12Bは、本形態の [第 2線形予測係数算出過程 (ス テツプ S31) ]を説明するためのフローチャートである。
図 12Aに例示するように、本形態の第 2線形予測係数算出部 410は、自己相関係 数算出部 411と方程式演算部 113とを有する。本形態の第 2線形予測係数算出過 程では、まず、自己相関係数算出部 411 (図 12A)が、入力された離散音響信号値 X (η · ·χ (η)を用い、 Μ (Μ≥ 2)個のセンサのうち音響信号の音源に最も近い 1つのセ
1
ンサ y(y=l,...,M)で観測された音響信号を複数の時点でサンプリングして得られた離 散音響信号値 X (n)の自己相関係数 c (i)G=0,l,...,q)を算出する (ステップ S141)。な
y y
お、音響信号の音源に最も近い 1つのセンサ yの情報は、自己相関係数算出部 411 が具備する固定情報であってもよいし、自己相関係数算出部 411に与えられる変動 情報であってもよい。
[0097] 次に、上述のように求められた各自己相関係数 c(i)が方程式演算部 113に入力さ れ、方程式演算部 113は、各平均自己相関係数 c(i)を用い、 Yule-Walkerの方程式（ 正規方程式)の解を求めることにより、短時間線形予測モデルの各線形予測係数 b(l ) b(q)を算出して出力する（方程式演算過程 Zステップ S142)。
以上のように、本形態では、音響信号の音源に最も近い 1つのセンサに対応する音 響信号値の自己相関係数を用い、各線形予測係数 b(l) b(q)を算出する構成とした 。これにより、他のセンサに対応する音響信号値の自己相関係数を用いる場合に比 ベて線形予測係数 b(l) b(q)の算出精度が向上し、離散音響信号値 X (η)· · ·χ (η)が
1
具備する d(z)に従った短期的な自己相関をより効果的に抑制することができる。前述 のように、これは、後部残響除去の精度向上につながる。
[0098] 〔第 4実施形態〕
次に、本発明の第 4実施形態について説明する。第 4実施形態は、第 1, 2実施形 態の変形例である。
第 1実施形態の [擬似白色化過程 (ステップ S21) ]では、短時間線形予測モデルを 用いて離散音響信号値の擬似白色化を行った。
これに対し、第 4実施形態の [擬似白色化過程 (ステップ S21) ]では、 Cepstral Mea n Subtraction (し M¾バ f列？ J 、「B. b. Atal, "Effectiveness of linear prediction charact eristics of the speech wave for automatic speaker identification and verification, Jo urnal of Acoustical Society of America, 55(6), pp. 1304-1312, 1974.」参照）を用いて 離散音響信号値の擬似白色化を行う。
[0099] この点が第 1実施形態との相違点である。そして、この構成は第 2実施形態へも適 用可能である。以下では、第 1, 2実施形態との相違点である擬似白色化部 510の構 成及び [擬似白色化過程 (ステップ S21) ]の処理のみを説明し、第 1, 2実施形態と 共通する事項については説明を省略する。
図 13は、本形態のモデル適用部 500の機能構成を示したブロック図である。なお、 図 13において第 1実施形態と共通する部分については、第 1実施形態と同じ符号を 用いた。
[0100] 図 13に例示するように、本形態のモデル適用部 500は、擬似白色化部 510と第 1 線形予測係数算出部 200とを有する。また、擬似白色化部 510は、周波数領域変換 部 511と、時間平均化部 512と、減算部 513と、時間領域変換部 514とを有する。 図 14は、本形態の [擬似白色化過程 (ステップ S21)]を説明するためのフローチヤ ートである。以下、この図を用いて、本形態の [擬似白色化過程 (ステップ S21)]を説 明する。
まず、擬似白色化部 510の周波数領域変換部 511が、メモリ 10aから音響信号 1分 析フレーム分の Mチャネルの離散音響信号値 X (n)〜x (n)を読み込む。そして、周波
1
数領域変換部 511は、短時間フーリエ変換等によって離散音響信号値 χ(η)···χ (η)
1 を周波数領域の離散音響信号値 X (f,t)-X (f,t)に変換して出力する (ステップ S201
1
)oなお、短時間フーリエ変換によってこの処理を行う場合は、例えば以下の式 (48) を用いる。また、 F[']は短時間フーリエ変換関数を示し、 Log[']は対数関数を示す
[0101] X (f, t)=Log[F[x (n)]] 〜(48)
m m
次に、時間平均化部 512に周波数領域の離散音響信号値 X (f,t)-X (f,t)が読み
1
込まれ、時間平均化部 512は、以下の式 (49)によって、周波数領域の離散音響信 号値 X(f,t) 'X (f,t)の時間平均 X '(Dを求め、出力する (ステップ S202)。
1 m
[0102] [数 21]
1 τ
E{Xm(f, t)} = -∑ Xm(f, t)(m = 1,...,M) … (49)
T t=i 次に、減算部 513に周波数領域の離散音響信号値 X (f,t)-X (f,t)とそれらの時間
1
平均 E{X (f,t)}とが読み込まれ、減算部 513は、以下の式（50)によって X '(f,t)(m=l,. m m
..,Μ)を算出し、出力する (ステップ S203)。
X ' (f,t)=X (f,t) -E{X (f,t)} ---(50)
m m m
次に、時間領域変換部 514に X '(f,t)-X '(f,t)が読み込まれ、時間領域変換部 51
1
4は、逆フーリエ変換等によってこれらを時間領域に変換し、擬似白色化された離散 音響信号値 X '(η ··χ '(η)を算出し、出力する (ステップ S204)。なお、逆フーリエ変
1
換によってこの処理を行う場合は、例えば以下の式（51)を用いる。また、 invF[']は 逆フーリエ変換関数を示し、 exp [-]はネィピア数を底とした指数関数を表す。
[0103] X ' (n)=invF[exp[X ' (f,t)]] ·'·(51)
m m
なお、上述した短時間フーリエ変換関数 F [ · ]や逆フーリエ変換関数 invF [ · ]にお いて窓長 25msの窓関数を用いた場合、 25ms以内の初期反射成分及び短時間相 関を取り除くことができる。
また、本形態を第 2実施形態に適用する場合には、時間領域変換部 514で生成さ れた擬似白色化後の離散音響信号値 X ' (η · ·χ ' (η)は、後部残響予測部 310cや周
1
波数領域変換部 310d (図 8)にも転送される。
[0104] 〔第 5実施形態〕
次に、本発明の第 5実施形態について説明する。第 5実施形態は、第 4実施形態の 擬似白色化手法を第 1実施形態に適用する際の変形例である。
第 1実施形態の [周波数領域変換過程 (ステップ S3) ]では、離散音響信号値 X (n)
1
-X (n)を周波数領域の離散音響信号値 X (f,t) X (f,t)に変換し、後部残響予測値 r
1
(η)· ·τ (η)を周波数領域の後部残響予測値 R (f,t)〜R (f,t)に変換していた。しかし、
1 1
第 4実施形態の擬似白色化を行う場合、その過程で (ステップ S201)で周波数領域 の離散音響信号値 X (f,t)-X (f,t)が得られている。
1
第 5実施形態では、第 4実施形態の擬似白色化の過程で得られた周波数領域の離 散音響信号値 X (f,t)-X (f,t)を流用し、周波数領域変換過程の処理を簡略化する。
1
以下では、これまで説明した実施形態との相違点を中心に説明し、それらと共通す る部分については説明を省略する。
[0105] <ハードウェア構成 >
第 1実施形態で説明したのと同様である。
<ハードウェアとプログラムとの協働 >
本形態の残響除去装置もコンピュータに所定のプログラムが読み込まれて実行さ れること〖こより構成される。図 15は、本形態の残響除去装置 610の機能構成を例示 したブロック図である。なお、図 15において、これまで説明した実施形態と共通する 部分につ 1、てはそれらと同じ符号を用いた。
[0106] 図 15に例示するように、残響除去装置 610は、メモリ 10aと、モデル適用部 500と、 後部残響予測部 10cと、周波数領域変換部 5 lOdと、後部残響除去部 10eと、複素ス ベクトル生成部 10fと、時間領域変換部 10gと、遅延量算出部 10hと、遅延調節部 10 iと、メモリ 10jと、制御部 10kとを有する。 <残響除去処理 >
次に、本形態の残響除去処理について説明する。
図 16は、本形態の残響除去処理の全体を説明するためのフローチャートである。 以下、この図を用い、本形態の残響除去処理を説明する。
[0107] [前処理]
第 1実施形態と同様である。
[モデル適用過程 (ステップ S211) ]
モデル適用過程では、モデル適用部 500力 メモリ 10aから読み込んだ 1分析フレ ーム分の Mチャネルの離散音響信号値 X (η ··χ (η)を用い、式（13)に示したマルチ
1
ステップ線形予測モデルの各線形予測係数 α (ρ ·· o (p)を算出する (ステップ S w,l w,
211)。この処理うち、擬似白色化処理は第 4実施形態で説明した通りであり、その他 の処理は第 1実施形態と同様である。
[0108] [後部残響予測過程 (ステップ S212)]
モデル適用過程 (ステップ S211)の後、後部残響予測部 10cに、メモリ 10aから読 み出された離散音響信号値 χ(η)···χ (η)と、モデル適用過程 (ステップ S211)で算出
1
された各線形予測係数 α (ρ ··α (ρ)
w, 1 w, とが入力される。
そして、後部残響予測部 10cは、各線形予測係数 α (ρ ··α (ρ)と離散音響信 w,l w,
号値 x (η ··χ (η)とをマルチステップ線形予測モデルの線形予測項に代入して得ら
1
れた線形予測値を、後部残響予測値 r (n)(W=l,...,M)として算出して出力する (ステツ プ S212)。
[0109] [周波数領域変換過程 (ステップ S213)]
次に、周波数領域変換部 510dに後部残響予測過程 (ステップ S212)で算出され た後部残響予測値 r (η)··τ (η)が入力される。周波数領域変換部 51 Odは、入力され
1
た後部残響予測値 r (I！)… r (n)を周波数領域の後部残響予測値 R(f,t) R (f,t)に変
1 1
換する (ステップ S213)。周波数領域変換部 510dは、この処理により、周波数領域 の後部残響予測値 R (f,t)-R (f,t)の振幅スペクトル |R (f,tル "|R (f,t)|と位相情報 arg[R
1 1
(f,t)]-arg[R (f,t)]とを抽出し、出力する。
1
[0110] [後部残響除去過程 (ステップ S214)] 次に、後部残響除去部 10eに、擬似白色化部 510の周波数領域変換部 511 (図 1 3)から転送された周波数領域の離散音響信号値の振幅スペクトル |X ' (f,t)|-|X ，(f,t
1
)|と、周波数領域変換部 510dで生成された周波数領域の後部残響予測値の振幅ス ベクトル |R (f,tル |R (f,t)|とが入力される。そして、後部残響除去部 310eは、周波数
1
領域の離散音響信号値の振幅スペクトル |x 1 '(α)ΐ···|χ '(f,t)iと、周波数領域の後部 残響予測値の振幅スペクトル |R (f,tル R (f,t)|とのセンサ毎の相対値を求め、当該相
1
対値を後部残響除去信号値の振幅スペクトル予測値 Is (f,tル |s (f,t)|として出力する
1 M
(ステップ S214)。
[0111] [フラグ判定過程 (ステップ S215, S216) ]
本形態の [フラグ判定過程 (ステップ S215, S216) ]は、第 1実施形態の [フラグ判 定過程 (ステップ S 5, S 6) ]と同様である。
[その他の過程]
その他の過程は、第 1実施形態と同様である。ただし、 [複素スペクトル生成過程（ ステップ S7) ]において、擬似白色化部 510の周波数領域変換部 511 (図 13)から転 送された位相情報 arg[X (f,t)]-arg[X (f,t)]を用いる点のみが第 1実施形態と相違す
1
る。
[0112] 〔第 6実施形態〕
次に、本発明の第 6実施形態について説明する。第 6実施形態は、第 4実施形態の 擬似白色化手法を第 2実施形態に適用する際の変形例である。
第 2実施形態の [周波数領域変換過程 (ステップ S 103) ]では、離散音響信号値 X (
1
I！)… X (n)を周波数領域の離散音響信号値 X (f,t) X (f,t)に変換し、後部残響予測
1
値 r (n) r (n)を周波数領域の後部残響予測値 R (f,t) R (f,t)に変換していた。しか
1 1
し、第 4実施形態の擬似白色化を行う場合、その過程で (ステップ S201)で周波数領 域の離散音響信号値 X (f,t)-X (f,t)が得られている。
1
[0113] 第 6実施形態では、第 4実施形態の擬似白色化の過程で得られた周波数領域の離 散音響信号値 X (f,t)-X (f,t)を流用し、周波数領域変換過程の処理を簡略化する。
1
以下では、これまで説明した実施形態との相違点を中心に説明し、それらと共通す る部分については説明を省略する。 <ノヽードウエア構成 >
第 1実施形態で説明したのと同様である。
<ハードウェアとプログラムとの協働 >
本形態の残響除去装置もコンピュータに所定のプログラムが読み込まれて実行さ れること〖こより構成される。
[0114] 図 17は、本形態の残響除去装置 620の機能構成を例示したブロック図である。図 1 7において、これまで説明した実施形態と共通する部分についてはそれらと同じ符号 を用いた。
図 17に例示するように、残響除去装置 620は、メモリ 10aと、モデル適用部 500と、 後部残響予測部 310cと、周波数領域変換部 510dと、後部残響除去部 310eと、複 素スペクトル生成部 310fと、時間領域変換部 10gと、遅延量算出部 10hと、遅延調 節部 10iと、メモリ 10jと、制御部 10kとを有する。
[0115] <残響除去処理 >
次に、本形態の残響除去処理について説明する。
図 18は、本形態の残響除去処理の全体を説明するためのフローチャートである。 以下、この図を用い、本形態の残響除去処理を説明する。
[前処理]
第 1実施形態と同様である。
[モデル適用過程 (ステップ S221) ]
モデル適用過程では、モデル適用部 310bが、メモリ 10aから読み込んだ 1分析フ レーム分の Mチャネルの離散音響信号値 X (n)〜x (n)を用い、式（13)に示したマル
1
チステップ線形予測モデルの各線形予測係数 α (ρ · · (X (p)を算出する (ステップ
w,l w,
S221) 0この処理うち、擬似白色化処理は第 4実施形態で説明した通りであり、その 他の処理は第 1実施形態と同様である。
[0116] [後部残響予測過程 (ステップ S222) ]
モデル適用過程 (ステップ S221)の後、後部残響予測部 310cに、モデル適用過 程 (ステップ S221)で擬似白色化された離散音響信号値 X ' (I！)… X ，(n)と、モデル適
1
用過程 (ステップ S221)で算出された各線形予測係数 α (ρ · · α (ρ)とが入力され る。
そして、後部残響予測部 310cは、各線形予測係数 α (ρ ·· o (p)と擬似白色化 w,l w,
された離散音響信号値 χ '(η ··Χ '(η)とをマルチステップ線形予測モデルの線形予
1
測項に代入して得られた線形予測値を、後部残響予測値 r (n)(W=l,...,M)として算出 して出力する (ステップ S222)。
[0117] [周波数領域変換過程 (ステップ S223)]
次に、周波数領域変換部 510dに後部残響予測過程 (ステップ S222)で算出され た後部残響予測値 r (η)··τ (η)が入力される。周波数領域変換部 51 Odは、入力され
1
た後部残響予測値 r (I！)… r (n)を周波数領域の後部残響予測値 R(f,t) R (f,t)に変
1 1
換する (ステップ S223)。周波数領域変換部 510dは、この処理により、周波数領域 の後部残響予測値 R (f,t)-R (f,t)の振幅スペクトル |R (f,tル "|R (f,t)|と位相情報 arg[R
1 1
(f,t)]-arg[R (f,t)]とを抽出し、出力する。
1
[0118] [後部残響除去過程 (ステップ S224)]
次に、後部残響除去部 310eに、周波数領域の離散音響信号値の振幅スペクトル I X '(f,t)|-|X '(f,t)|と、周波数領域の後部残響予測値の振幅スぺ外ル |R(f,tル "|R (f
1 1
,t)|とが入力される。そして、後部残響除去部 310eは、周波数領域の離散音響信号 値の振幅スペクトル |X，(f,tル ·'|Χ '(f,t)|と、周波数領域の後部残響予測値の振幅ス
1
ベクトル |R(f,tル R (f,t)|とのセンサ毎の相対値を求め、当該相対値を後部残響除去
1
信号値の振幅スペクトル予測値 |S (f,tル |S (f,t)|として出力する (ステップ S224)。な
1
お、本ステップで使用される周波数領域の離散音響信号値の振幅スペクトル |x '(f,t)
1
|···|Χ ，(f,t)|は、擬似白色化部 510の減算部 513 (図 13)から転送されたものである。
[0119] [フラグ判定過程 (ステップ S225, S226)]
本形態の [フラグ判定過程 (ステップ S225, S226)]は、第 1実施形態の [フラグ判 定過程 (ステップ S 5, S 6)]と同様である。
[その他の過程]
その他の過程は、第 1実施形態と同様である。ただし、 [複素スペクトル生成過程（ ステップ S7) ]において、擬似白色化部 510の減算部 513 (図 13)から転送された位 相情報 arg[X '(f,t)]-arg[X ' (f,t)]を用いる点のみが第 1実施形態と相違する。 [0120] 〔第 7実施形態〕
次に、本発明の第 7実施形態について説明する。第 7実施形態は、 M= lとし、遅 延量算出部 lOhや遅延調節部 lOiを不要とした第 1〜6実施形態の変形例である。 その代表例として、 M= lとし、第 2実施形態に第 4実施形態の擬似白色化方法を適 用し、遅延量算出部 lOhや遅延調節部 lOiが存在しない構成について説明する。し かし、その他第 1〜6実施形態又はそれらの組合せにおいて M= lとし、遅延量算出 部 lOhや遅延調節部 lOiが存在しない構成としてもよい。さらに、遅延量算出部 lOh や遅延調節部 lOiは存在する力 M= lの場合には、それらを機能させない構成で あってもよい。
[0121] また、以下では、これまで説明した実施形態との相違点を中心に説明し、それらと 共通する事項については説明を省略する。
<ノヽードウエア構成 >
第 1実施形態と同様である。
<ハードウェアとプログラムとの協働 >
本形態の残響除去装置もコンピュータに所定のプログラムが読み込まれて実行さ れること〖こより構成される。図 19は、本形態の残響除去装置 710の機能構成を例示 したブロック図である。また、図 20は、図 19のモデル適用部 800の機能構成の詳細 を例示したブロック図である。なお、図 19,図 20において、これまで説明した実施形 態と共通する部分についてはそれらと同じ符号を用いた。
[0122] 図 19に例示するように、残響除去装置 710は、メモリ 10aと、モデル適用部 800と、 後部残響予測部 310cと、周波数領域変換部 310dと、後部残響除去部 310eと、複 素スペクトル生成部 310fと、時間領域変換部 10gと、メモリ 10jと、制御部 10kとを有 する。
また、モデル適用部 800は、擬似白色化部 810と第 1線形予測係数算出部 200と を有する。また、擬似白色化部 810は、周波数領域変換部 811と、時間平均化部 81 2と、減算部 813と、時間領域変換部 814とを有する。
[0123] <残響除去処理 >
次に、本形態の残響除去処理について説明する。 図 21は、本形態の残響除去処理の全体を説明するためのフローチャートである。 また、図 22Aは、図 21のステップ S301 (モデル適用過程）の詳細を説明するための フローチャートであり、図 22Bは、図 22Aのステップ S311 (擬似白色化過程）の詳細 を説明するためのフローチャートである。
以下、これらの図を用い、本形態の残響除去処理を説明する。
[0124] [前処理]
まず、 M (M = 1)個のセンサで観測された 1チャネルの音響信号が所定の標本ィ匕 周波数でサンプリングされ、離散音響信号値 X (n)が生成される。生成された各チヤネ
1
ルの離散音響信号値 X (n)は、それぞれメモリ 10aに格納される。なお、本形態では、
1
残響除去を行う全時間区間の離散音響信号値 X (n)を事前に取得し、メモリ 10aに格
1
納しておき、分析フレーム毎に、以下の各過程を実行する。しかし、離散音響信号値
X (n)の取得をリアルタイムで行いつつ、以下の各過程を実行してもよい。
1
[0125] また、残響除去装置 710が最終的に出力する情報が、後部残響除去信号の振幅 スペクトルのみであるのカゝ、それとも位相成分をも有する音響信号なのかを示す情報 をメモリ 10jに格納しておく。本形態では、フラグ (データ） δをメモリ 10jに格納してお く。そして、出力する情報が直接音の振幅スペクトルのみである場合 δ = 1とし、位相 成分をも有する音響信号である場合 δ = 0とする。
以下、本形態の後部残響除去処理を説明する。なお、以下では、 1つの分析フレ ームの処理過程のみを説明するが、実際は複数の分析フレームに対して同様な処 理が行われる。
[0126] [モデル適用過程 (ステップ S301) ]
モデル適用過程では、モデル適用部 800力 メモリ 10aから読み込んだ 1分析フレ ーム分の離散音響信号値 X (n)を用い、式（5)に示したマルチステップ線形予測モデ
1
ルの各線形予測係数 a (p)を算出する (ステップ S301)。以下、この処理の詳細を
1,1
階層的に説明する。
[モデル適用過程 (ステップ S301)の詳細（図 22A) ]
図 22Aに例示するように、モデル適用過程では、まず、擬似白色化（Pre-hitening) 部 810 (図 20)が、入力された離散音響信号値 X (n)が有する短時間区間での自己相 関成分を抑制し、擬似白色化した離散音響信号値 X
1 'を生成して出力する (擬似白 色化過程 Zステップ S31 1)。すなわち、各離散時間の上記離散音響信号値 X (n)か
1 ら、当該離散時間 n直前の短時間区間内の各離散音響信号値と自己相関性を持つ 自己相関成分を抑制し、擬似白色化した離散音響信号値 X ' (η)
1 を生成する。
[0127] 次に、上述の擬似白色化された離散音響信号値 X ' (η)が第 1線形予測係数算出部
1
200 (図 20)に入力され、第 1線形予測係数算出部 200は、当該擬似白色化された 離散音響信号値 X ' (η)を用い、式 (5)に示したマルチステップ線形予測モデルの各
1
線形予測係数 α (ρ)を算出して出力する (第 1線形予測係数算出過程 Ζステップ
1,1 s
312)。なお、一例として、式（5)における遅延 Dを、例えば 25ms (標本ィ匕周波数周 波数 12000Hzの場合、 300タップに相当）とし、各線形予測係数 ex (p)の数 Nは、
1,1
例えば、 5000程度とする。また、各線形予測係数 α (ρ)を算出する方法としては、
1,1
自己相関法（correlation method)や共分散法（covariance method)を例示できる。ま た、 MATLAB (登録商標）等を利用してこの処理を行ってもよ!、。
[0128] [擬似白色化過程 (ステップ S31 1)の詳細（図 22B) ]
次に、擬似白色化過程 (ステップ S 31 1)の詳細を説明する。
本形態では、一例として、 Cepstral Mean Subtraction(CMS)を用いて離散音響信号 値の擬似白色化を行う。
まず、擬似白色化部 810の周波数領域変換部 81 1が、メモリ 10aから音響信号 1分 析フレーム分の 1チャネルの離散音響信号値 X (n)を読み込む。そして、周波数領域
1
変換部 81 1は、短時間フーリエ変換等によって離散音響信号値 X (n)を周波数領域
1
の離散音響信号値 X (f,t)に変換して出力する (ステップ S 321)。なお、短時間フーリ
1
ェ変換によってこの処理を行う場合は、例えば以下の式（52)を用いる。また、 F [ - ] は短時間フーリエ変換関数を示し、 Log[ ' ]は対数関数を示す。
[0129] X (f, t)=Log[F[x (n)]] · "(52)
1 1
次に、時間平均化部 812に周波数領域の離散音響信号値 X (f,t)が読み込まれ、時
1
間平均化部 812は、以下の式 (53)によって、周波数領域の離散音響信号値 X (f,t)
1 の時間平均 X ' Dを求め、出力する (ステップ S322)。
1
[0130] [数 22] Ε{Χι(ί,ΐ)} = ^∑Χι(ί,ΐ) - (53)
i t=l 次に、減算部 813に周波数領域の離散音響信号値 X (f,t)とその時間平均 E{X (f,t)}
1 1 とが読み込まれ、減算部 513は、以下の式（54)によって X ' (f,t)を算出し、出力する（
1
ステップ S323)。
X ' (f,t)=X (f,t) -E{X (f,t)} 〜(54)
1 1 1
次に、時間領域変換部 514に X ' (f,t)が読み込まれ、時間領域変換部 814は、逆フ
1
一リエ変換等によってこれらを時間領域に変換し、擬似白色化された離散音響信号 値 X，(n)を算出し、出力する (ステップ S324)。なお、逆フーリエ変換によってこの処
1
理を行う場合は、例えば以下の式 (55)を用いる。また、 invF [ ' ]は逆フーリエ変換関 数を示す。
[0131] X ' (n)=invF[exp[X ' (f,t)]] 〜(55)
1 1
なお、上述した短時間フーリエ変換関数 F [ · ]や逆フーリエ変換関数 invF [ · ]にお いて窓長 25msの窓関数を用いた場合、 25ms以内の初期反射成分及び短時間相 関を取り除くことができる。
また、本形態の例では、時間領域変換部 814で生成された擬似白色化後の離散 音響信号値 X ' (η)は、後部残響予測部 310cや周波数領域変換部 310d (図 19)にも
1
転送される ( [モデル適用過程 (ステップ S301)の詳細]の説明終わり）。
[0132] [後部残響予測過程 (ステップ S302) ]
モデル適用過程 (ステップ S301)の後、後部残響予測部 310cに、時間領域変換 部 814で生成された擬似白色化後の離散音響信号値 X ' (η)と、モデル適用過程 (ス
1
テツプ S301)で算出された各線形予測係数 a (ρ)
1,1 とが入力される。
そして、後部残響予測部 310cは、前述の式（10)のように、各線形予測係数 α (ρ
1,1
)と擬似白色化後の離散音響信号値 X ' (η)
1 とをマルチステップ線形予測モデルの線 形予測項に代入して得られた線形予測値を、後部残響予測値 r (n)
1 として算出して出 力する (ステップ S302)。本形態では、式（5)のマルチステップ線形予測モデルを用 いているため、後部残響予測部 310cは、以下の式（56)に従って後部残響予測値 r
1
(n)を求めて出力する。 [0133] [数 23] ri (n) =∑au(p) - Xj(n -p-D) - (56)
P=I
[周波数領域変換過程 (ステップ S303) ]
次に、周波数領域変換部 310dに、時間領域変換部 814 (図 20)で生成された擬 似白色化後の離散音響信号値 X ' (η)と、後部残響予測過程 (ステップ S302)で算出
1
された後部残響予測値 r (n)とが入力される。周波数領域変換部 310dは、入力され
1
た擬似白色化後の離散音響信号値 X ' (η)
1 を周波数領域の離散音響信号値 X ' (f,t)
1 に 変換し、後部残響予測値 r (n)を周波数領域の後部残響予測値 R (f,t)に変換する (ス
1 1
テツプ S303)。本形態では、例えば、窓長 25msのハユング窓などの有限長の窓関 数を用い、短時間フーリエ変換（DFT: Discrete Fourier Transform)等によって、これ らの周波数領域への変換を行う。周波数領域変換部 310dは、これらの処理により、 周波数領域の離散音響信号値 X ' (f,t)の振幅スぺ外ル |X ' (f,t)|と位相情報 arg[X ' (f
1 1 1
,t)]、及び、周波数領域の後部残響予測値 R (f,t)の振幅スぺ外ル |R (f,t)|と位相情報
1 1
arg[R (f,t)]とを抽出し、出力する。
1
[0134] [後部残響除去過程 (ステップ S304) ]
次に、後部残響除去部 310eに、周波数領域の離散音響信号値の振幅スペクトル I X ' (f,t)|と、周波数領域の後部残響予測値の振幅スペクトル |R (f,t)|とが入力される。
1 1
そして、後部残響除去部 310eは、周波数領域の離散音響信号値の振幅スペクトル I X，(f,t)|と、周波数領域の後部残響予測値の振幅スペクトル |R (f,t)|とのセンサ毎の相 対値を求め、当該相対値を後部残響除去信号値の振幅スペクトル予測値 |S (f,t)|とし て出力する (ステップ S304)。この処理の詳細は第 1実施形態と同様である。
[0135] [フラグ判定過程 (ステップ S305, S306) ]
ステップ S304の後、制御部 10kが、メモリ 10jに格納されているフラグ δを読み出し 、そのフラグ δ力 振幅スペクトルのみを出力することを示すフラグであるか否力、す なわち、 δ = 1であるか否かを判断する（ステップ S305)。ここで、 δ = 1であれば、 制御部 10kは、後部残響除去過程 (ステップ S304)で後部残響除去部 310eが生成 した後部残響除去信号値の振幅スぺ外ル予測値 |S (f,t)|を、残響除去装置 710の最 終的な出力情報として出力し (ステップ S306)、当該分析フレームの処理を終了させ る。このように出力された振幅スペクトル予測値 |S (f,t)|は、例えば、残響除去装置 71
1
0の後段に続く音声認識システム等のアプリケーションに渡され、特徴量に変換され る。
一方、 δ =0であれば、制御部 10kは、以下のステップ S307以降の処理を実行さ せる。
[0136] [複素スペクトル生成過程 (ステップ S307) ]
複素スペクトル生成過程では、まず、複素スペクトル生成部 310fに、後部残響除去 部 310eから出力（ステップ S304)された後部残響除去信号値の振幅スペクトル予測 値 |S (f,t)|と、周波数領域変換部 310dから出力 (ステップ S303)された周波数領域の
1
離散音響信号値の位相情報 arg[X (f,t)]とが入力される。複素スペクトル生成部 310f
1，
は、これらの情報を用い、以下の式 (57)に従って、後部残響除去信号値の複素スぺ タトル予測値 S (f,t)を算出して出力する (ステップ S307)。
1
S (f,t)=|S (f,t)| · expO- arg[X (f,t)]) · · -(57)
[0137] [時間領域変換過程 (ステップ S308) ]
ステップ S307の後、時間領域変換部 10gに、上述の後部残響除去信号値の複素 スペクトル予測値 S (f,t)が入力される。そして、時間領域変換部 10gは、後部残響除 去信号値の複素スぺ外ル予測値 S (f,t)を時間領域に変換した後部残響除去信号推
1
定値 s (n)を算出して出力する (ステップ S308)。なお、時間領域への変換は、例えば
1
、逆フーリエ変換によって行う。
[0138] 〔シミュレーション結果〕
次に、 M= 1の場合における本発明の効果を示すためのシミュレーション結果を示 す。ここでは、第 2実施形態に第 4実施形態の擬似白色化方法を適用した構成でシミ ユレーシヨンを行った。
このシミュレーションでは、連続発話データセットから女声と男性のそれぞれ 50発話 を取り出し、 3000タップのインパルス応答と畳み込み残響環境をシミュレートした。ま た、式（5)のマルチステップ線形予測モデルのステップサイズ（遅延） Dを 25msとし、 線形予測係数 α (ρ)の数 Νを 5000とした。また、時間領域から周波数領域への変 換には、窓長 25msの短時間フーリエ変換を用いた。
[0139] 図 24にこのシミュレーション結果を示す。ここで、図 24A、図 24Bは、それぞれ、残 響除去前の振幅スペクトラム値及び音声波形を示した図である。また、図 24C、図 24 Dは、それぞれ、本発明（M= 1)による残響除去後の振幅スペクトラム値及び音声波 形を示した図である。なお、図 24A、図 24Cの縦軸は振幅スペクトラム値を示し、横 軸は時間（s)を示す。また、図 24B、図 24Dの縦軸は周波数 (Hz)を示し、横軸は時 間（s)を示す。これらの図からも、本発明によって後部残響が精度良く抑圧されること がわカゝる。
[0140] 次に、本発明の効果を音声認識の観点力 評価したシミュレーション結果を示す。
このシミュレーションでは、クリーン音声を用いて構築された音響モデルを用いた。 表 1に、それぞれの認識対象の単語誤り率を示す。残響音声、残響除去音声の単語 誤り率は、それぞれ「1¾ .」と「1^ .」と表されている。音響モデル力クリーン音声か ら学習されたにもかかわらず、本発明により認識率が大幅に改善されていることがわ かる。
[0141] [表 1]
Figure imgf000052_0001
〔実験結果〕
次に、本発明の効果を示すための実験結果を示す。この実験は、後部残響除去を 行わない場合 (処理無)、 M= lとし、第 2実施形態に第 4実施形態の擬似白色化方 法を適用した方法 (第 7実施形態)、第 1実施形態 (M≥ 2)で遅延調節を行うことなく 1つのチャネル (m=l)で得られた後部残響除去信号推定値を用いた場合 (第 1実施 形態 (遅延調節無)）、及び、第 1実施形態 (M≥2)で遅延調節を行って後部残響除 去を行った場合 (第 1実施形態 (遅延調節無)）について、各々の音声認識率を測定 した。
図 25Aは、この実験条件を示す図である。この実験では、縦 3. 5m、横 4. 5m、高 さ 2. 5mの室内に、 4つのマイクロフォン 1010 (M=4)を一列に配置し、 m= lのマイ クロフオン 1010 (実線）から、 0、 5m, 1. Om, l . 5m,2. Omの距離に 4つのスピーカ 1 020を一直線に配置した場合を想定した。また、連続発話データセットから女性と男 性のそれぞれ 100発話を取り出し、これらに、シミュレートした 3000タップのインパル ス応答と畳み込んで後部残響音声を作成した。また、音声認識の際には、音響モデ ノレ適 J心処 ¾とし飞 Cepstral Mean Subtraction (B.S. Atal, Effectiveness of linear prea iction characteristics of the speech wave for automatic speaker identification and ver ification," Journal of the Acoustical Society of America, vol. 55(6), pp. 1304-1312, J un. 1974. )を用いた。なお、 M= lとし、第 2実施形態に第 4実施形態の擬似白色化 方法を適用した方法 (第 7実施形態)では、 m= lのマイクロフォン 1010を使用した。
[0143] 図 25Bは、上記の 4つの場合〔処理無、第 7実施形態、第 1実施形態 (遅延調節無） 、第 1実施形態 (遅延調節有)〕につ 、ての音声認識結果 (単語誤り率)を示すグラフ である。なお、図 25Bでは、マイクロフォン 1010 (m= l)と各スピーカ 1020との距離 (m)を横軸とし、単語誤り率 (％)を縦軸としている。
図 25Bに例示するように、マイクロフォン 1010 (m= l)と各スピーカ 1020との距離 が比較的近い場合には、第 7実施形態 (M= l)に対する第 1実施形態 (M≥2) (遅 延調節無)及び第 1実施形態 (M≥2) (遅延調節有)の単語誤り率の改善量はあまり 大きくない。し力し、マイクロフォン 1010 (m= l)と各スピーカ 1020との距離が離れる につれ、伝達関数中の最大位相成分 (ゼロ点）が増えるため、第 7実施形態 (M= l) に対する第 1実施形態 (M≥2) (遅延調節無)の単語誤り率の改善量は顕著になつ ていく。さらに、第 1実施形態 (M≥2) (遅延調節有)場合には、より一層単語誤り率 を改善することができる。
[0144] 〔変形例等〕
なお、本発明は上述の各実施形態に限定されるものではない。例えば、各実施形 態では、後部残響除去部が、短時間フーリエ変換等により各データを周波数領域に 変換して各処理を実行した。したし、残響除去装置の出力として要求される信号が直 接音の振幅スペクトルのみであるならば、後部残響除去部が、各データを z変換し、 z 領域で各処理を実行してもよ ヽ。
また、各実施形態では、擬似白色化部によって離散音響信号値から短時間相関を 取り除いた後、各処理を実行した。しかし、短時間相関を取り除いていない離散音響 信号値を用いて各処理を実行してもよ ヽ。
[0145] また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を 実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行され てもよい。また、 2以上の実施形態を結合した形態であってもよい。その他、本発明の 趣旨を逸脱しな 、範囲で適宜変更が可能であることは 、うまでもな 、。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の 処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで 実行することにより、上記処理機能がコンピュータ上で実現される。
[0146] この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に 記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば 、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよ いが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブル ディスク、磁気テープ等を、光ディスクとして、 DVD (Digital Versatile Disc)、 DVD— RAM (Random Access Memory)、 CD— ROM (Compact Disc Read Only Memory) 、 CD— R (Recordable) ZRW (Rewritable)等を、光磁気記録媒体として、 MO (Magn eto- Optical disc)等を、半導体メモリとして EEP— ROM (Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
[0147] また、このプログラムの流通は、例えば、そのプログラムを記録した DVD、 CD-R
OM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプ ログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サ 一バコンピュータカ 他のコンピュータにそのプログラムを転送することにより、このプ ログラムを流通させる構成としてもよ!/、。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に 記録されたプログラムもしくはサーバコンピュータ力も転送されたプログラムを、ー且、 自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記 録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実 行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体 力 直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよ く、さらに、 このコンピュータにサーバコンピュータ力 プログラムが転送されるたび に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サー バコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示 と結果取得のみによって処理機能を実現する、いわゆる ASP (Application Service Pr ovider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形 態におけるプログラムには、電子計算機による処理の用に供する情報であってプログ ラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を 規定する性質を有するデータ等)を含むものとする。
[0148] また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本 装置を構成することとした力 これらの処理内容の少なくとも一部をノ、一ドウ ア的に 実現することとしてもよい。
産業上の利用可能性
[0149] 本発明を、各種音響信号処理システムの要素技術として用いることで、そのシステ ム全体の性能を向上させることができる。本発明が適用可能な音響信号処理システ ムとしては、例えば、以下のようなものを列挙できる。環境で収録された音声には、常 に残響 (反射音）が含まれる力 以下にあげるシステムは、そのような状況で用いられ ることを想定した例である。
•残響環境での音声認識システム
'歌われたり、楽器で演奏されたり、スピーカで演奏された楽曲の残響を除去してメ モリ格納しておき、それら楽曲を検索したり、採譜したりする音楽情報処理システム
•人が発した音に反応して機械にコマンドを渡す機械制御インターフェース、及び 機械と人間との対話装置
•残響環境下で残響を除去することで聞き取り易さを向上させる補聴器
•残響除去により音声の明瞭度を向上させる TV会議システムなどの通信システム

Claims

請求の範囲
[1] 後部残響を伴う音響信号から後部残響を除去する残響除去装置であって、
M (M≥1)個のセンサによってそれぞれ観測された M個のチャネル m (m= l, M)の上記音響信号をそれぞれ複数の時点でサンプリングして得られた離散音響信 号値を記憶するメモリと、
長時間区間における M個のチャネル mの各離散音響信号値を線形結合した線形 予測項と、予測誤差項と、の和によって、当該長時間区間より所定時間後の離散時 間 nにおけるチャネル w (w= l, ..., M)の離散音響信号値を表現した線形予測モデ ルである、チャネル wのマルチステップ線形予測モデルの各線形予測係数を、複数 の上記離散音響信号値を用いて算出するモデル適用部と、
上記チャネル wのマルチステップ線形予測モデルの各線形予測係数と複数の上記 離散音響信号値とを上記チャネル wのマルチステップ線形予測モデルの上記線形 予測項に代入して得た線形予測値を、離散時間 nにおけるチャネル wの後部残響予 測値として出力する後部残響予測部と、を有する。
[2] 請求項 1に記載の残響除去装置であって、
上記モデル適用部は、
各離散時間の上記離散音響信号値から、当該離散時間直前の短時間区間内の各 離散音響信号値と自己相関性を持つ自己相関成分を抑制し、擬似白色化した離散 音響信号値を生成する擬似白色化部と、
上記擬似白色化した離散音響信号値を用い、上記マルチステップ線形予測モデ ルの各線形予測係数を算出する第 1線形予測係数算出部と、を有し、
上記短時間区間は、上記長時間区間よりも短い。
[3] 請求項 2に記載の残響除去装置であって、
上記擬似白色化部は、
上記短時間区間におけるチャネル mの各離散音響信号値を線形結合した線形予 測項と、予測誤差項と、の和によって、上記短時間区間直後の離散時間 nにおける 当該チャネル mの離散音響信号値を表現した線形予測モデルである、チャネル mの 短時間線形予測モデルの各線形予測係数を、上記離散音響信号値を用いて算出 する第 2線形予測係数算出部と、
上記第 2線形予測係数算出部で算出された上記各線形予測係数をチャネル mの 上記短時間線形予測モデルに代入して得られる逆フィルタに当該チャネル mの上記 離散音響信号値を代入し、それによつて得られる当該短時間線形予測モデルの上 記予測誤差項の値を当該チャネル mの上記擬似白色化した離散音響信号値として 出力する逆フィルタ処理部と、を有する。
[4] 請求項 3に記載の残響除去装置であって、
M≥2であり、
上記第 2線形予測係数算出部は、
チャネル毎に上記離散音響信号値の自己相関係数を算出する自己相関係数算出 部と、
チャネル毎に求められた上記自己相関係数をチャネル間で平均した平均自己相 関係数を算出する自己相関係数平均化部と、
上記平均自己相関係数を用い、上記短時間線形予測モデルの各線形予測係数を 算出する方程式演算部と、を有する。
[5] 請求項 3に記載の残響除去装置であって、
M≥2であり、
上記第 2線形予測係数算出部は、
上記 M個のセンサのうち、音響信号の音源に最も近い 1つのセンサで観測された 音響信号を複数の時点でサンプリングして得られた離散音響信号値の自己相関係 数を算出する自己相関係数算出部と、
上記自己相関係数を用い、上記短時間線形予測モデルの各線形予測係数を算出 する方程式演算部と、を有する。
[6] 請求項 1に記載の残響除去装置であって、
各チャネルの上記離散音響信号値を周波数領域の離散音響信号値に変換し、各 チャネルの上記後部残響予測値を周波数領域の後部残響予測値に変換する周波 数領域変換部と、
上記周波数領域の離散音響信号値の振幅スペクトルと、上記周波数領域の後部 残響予測値の振幅スペクトルとの相対値をチャネル毎に求め、当該相対値を各チヤ ネルの後部残響除去信号値の振幅スペクトル予測値として出力する後部残響除去 部と、を有する。
[7] 請求項 6に記載の残響除去装置であって、
上記後部残響予測部は、
上記モデル適用部で算出された上記各線形予測係数と複数の擬似白色化された 上記離散音響信号値とを上記線形予測項に代入して得られた線形予測値を、離散 時間 nにおけるチャネル wの後部残響予測値として算出し、
上記周波数領域変換部は、
擬似白色化された各チャネルの上記離散音響信号値を周波数領域の離散音響信 号値に変換する。
[8] 請求項 6に記載の残響除去装置であって、
チャネル wの上記後部残響除去信号値の振幅スペクトル予測値と、チャネル wの上 記周波数領域の離散音響信号値の位相情報とを用い、チャネル wの後部残響除去 信号値の複素スペクトル予測値を算出する複素スペクトル生成部と、
チャネル wの上記後部残響除去信号値の複素スペクトル予測値を時間領域に変換 したチャネル wの後部残響除去信号推定値を算出する時間領域変換部とを、さらに 有する。
[9] 請求項 8に記載の残響除去装置であって、
M≥2であり、
上記モデル適用部は、
複数のチャネルに対してそれぞれ上記各線形予測係数を算出し、
上記後部残響予測部は、
複数のチャネルに対してそれぞれ上記後部残響予測値を算出し、
上記後部残響除去部は、
複数のチャネルに対してそれぞれ上記後部残響除去信号値の振幅スペクトル予測 値を算出し、
上記複素スペクトル生成部は、 複数のチャネルに対してそれぞれ上記後部残響除去信号値の複素スペクトル予測 値を算出し、
上記時間領域変換部は、
複数のチャネルに対してそれぞれ上記後部残響除去信号推定値を算出し、 当該残響除去装置は、
各チャネルの上記後部残響除去信号推定値をそれぞれ或る遅延量で遅延させた 場合に、遅延後の各チャネルの上記後部残響除去信号推定値のチャネル間相互相 関が極大となる、各チャネルの当該遅延量を決定する遅延量算出部を有する。
[10] 請求項 9に記載の残響除去装置であって、
各チャネルの上記後部残響除去信号推定値を、それぞれのチャネルに対して算出 された上記遅延量だけ遅延させる遅延部と、
上記遅延部で遅延させた上記後部残響除去信号推定値の和を、補正残響除去信 号値として算出する遅延補正部と、を有する。
[11] 請求項 1に記載の残響除去装置であって、
M≥2である。
[12] 請求項 1に記載の残響除去装置であって、
上記マルチステップ線形予測モデルは、
X (n)をチャネル w(w= l, ..., M)に対応する離散時間 nの離散音響信号値とし、 w
X (n)をチャネル m (m= l, ..., M)に対応する離散時間 nの離散音響信号値とし、 e (n)をチャネル w及び離散時間 nに対応する予測誤差とし、 Nを正の整数とし、 [·]を w
ガウス記号とし、 a (p)を、 X ' (n)に対応する線形予測項のチャネル mに対応す w, m w
る P番目の線形予測係数とし、 Dをステップサイズを示す定数とした場合における、 [数 24]
M [N /M]
xw(n) = L ∑aw,m(p) ' x n - p- D) + ew(nj
m=l p=l である。
[13] 後部残響を伴う音響信号から後部残響を除去する残響除去方法であって、
M (M≥1)個のセンサによってそれぞれ観測された M個のチャネル m (m= l, M)の上記音響信号をそれぞれ複数の時点でサンプリングして得られた離散音響信 号値をメモリに記憶する離散音響信号記憶過程と、
長時間区間における M個のチャネル mの各離散音響信号値を線形結合した線形 予測項と、予測誤差項と、の和によって、当該長時間区間より所定時間後の離散時 間 nにおけるチャネル wの離散音響信号値を表現した線形予測モデルである、チヤ ネル wのマルチステップ線形予測モデルの各線形予測係数を、複数の上記離散音 響信号値を用いて算出するモデル適用過程と、
上記チャネル wのマルチステップ線形予測モデルの各線形予測係数と複数の上記 離散音響信号値とを上記チャネル wのマルチステップ線形予測モデルの上記線形 予測項に代入して得た線形予測値を、離散時間 nにおけるチャネル wの後部残響予 測値として出力する後部残響予測過程と、を有する。
[14] 請求項 13に記載の残響除去方法であって、
上記モデル適用過程は、
各離散時間の上記離散音響信号値から、当該離散時間直前の短時間区間内の各 離散音響信号値と自己相関性を持つ自己相関成分を抑制し、擬似白色化した離散 音響信号値を生成する擬似白色化過程と、
上記擬似白色化した離散音響信号値を用い、上記マルチステップ線形予測モデ ルの各線形予測係数を算出する第 1線形予測係数算出過程と、を有し、
上記短時間区間は、上記長時間区間よりも短い。
[15] 請求項 14に記載の残響除去方法であって、
上記擬似白色化過程は、
上記短時間区間におけるチャネル mの各離散音響信号値を線形結合した線形予 測項と、予測誤差項と、の和によって、上記短時間区間直後の離散時間 nにおける 当該チャネル mの離散音響信号値を表現した線形予測モデルである、チャネル mの 短時間線形予測モデルの各線形予測係数を、上記離散音響信号値を用いて算出 する第 2線形予測係数算出過程と、
上記第 2線形予測係数算出過程で算出された上記各線形予測係数をチャネル m の上記短時間線形予測モデルに代入して得られる逆フィルタに当該チャネル mの上 記離散音響信号値を代入し、それによつて得られる当該短時間線形予測モデルの 上記予測誤差項の値を当該チャネル mの上記擬似白色化した離散音響信号値とし て出力する逆フィルタ処理過程と、を有する。
[16] 請求項 15に記載の残響除去方法であって、
M≥2であり、
上記第 2線形予測係数算出過程は、
チャネル毎に上記離散音響信号値の自己相関係数を算出する自己相関係数算出 過程と、
チャネル毎に求められた上記自己相関係数をチャネル間で平均した平均自己相 関係数を算出する自己相関係数平均化過程と、
上記平均自己相関係数を用い、上記短時間線形予測モデルの各線形予測係数を 算出する方程式演算過程と、を有する。
[17] 請求項 15に記載の残響除去方法であって、
M≥2であり、
上記第 2線形予測係数算出過程は、
上記 M個のセンサのうち、音響信号の音源に最も近い 1つのセンサで観測された 音響信号を複数の時点でサンプリングして得られた離散音響信号値の自己相関係 数を算出する自己相関係数算出過程と、
上記自己相関係数を用い、上記短時間線形予測モデルの各線形予測係数を算出 する方程式演算過程と、を有する。
[18] 請求項 13に記載の残響除去方法であって、
各チャネルの上記離散音響信号値を周波数領域の離散音響信号値に変換し、各 チャネルの上記後部残響予測値を周波数領域の後部残響予測値に変換する周波 数領域変換過程と、
上記周波数領域の離散音響信号値の振幅スペクトルと、上記周波数領域の後部 残響予測値の振幅スペクトルとの相対値をチャネル毎に求め、当該相対値を各チヤ ネルの後部残響除去信号値の振幅スペクトル予測値として出力する後部残響除去 過程と、を有する。
[19] 請求項 18に記載の残響除去方法であって、
上記後部残響予測過程は、
上記モデル適用部で算出された上記各線形予測係数と複数の擬似白色化された 上記離散音響信号値とを上記線形予測項に代入して得られた線形予測値を、離散 時間 nにおけるチャネル wの後部残響予測値として算出する過程であり、
上記周波数領域変換部では、
擬似白色化された各チャネルの上記離散音響信号値を周波数領域の離散音響信 号値に変換する。
[20] 請求項 18に記載の残響除去方法であって、
チャネル wの上記後部残響除去信号値の振幅スペクトル予測値と、チャネル wの上 記周波数領域の離散音響信号値の位相情報とを用い、チャネル wの後部残響除去 信号値の複素スペクトル予測値を算出する複素スペクトル生成過程と、
チャネル wの上記後部残響除去信号値の複素スペクトル予測値を時間領域に変換 したチャネル wの後部残響除去信号推定値を算出する時間領域変換過程とを、さら に有する。
[21] 請求項 20に記載の残響除去方法であって、
M≥2であり、
上記モデル適用過程は、
複数のチャネルに対してそれぞれ上記各線形予測係数を算出する過程であり、 上記後部残響予測過程は、
複数のチャネルに対してそれぞれ上記後部残響予測値を算出する過程であり、 上記後部残響除去過程は、
複数のチャネルに対してそれぞれ上記後部残響除去信号値の振幅スペクトル予測 値を算出する過程であり、
上記複素スペクトル生成過程は、
複数のチャネルに対してそれぞれ上記後部残響除去信号値の複素スペクトル予測 値を算出する過程であり、
上記時間領域変換過程は、 複数のチャネルに対してそれぞれ上記後部残響除去信号推定値を算出する過程 であり、
当該残響除去方法は、
各チャネルの上記後部残響除去信号推定値をそれぞれ或る遅延量で遅延させた 場合に、遅延後の各チャネルの上記後部残響除去信号推定値のチャネル間相互相 関が極大となる、各チャネルの当該遅延量を決定する遅延量算出過程を有する。
[22] 請求項 21に記載の残響除去方法であって、
各チャネルの上記後部残響除去信号推定値を、それぞれのチャネルに対して算出 された上記遅延量だけ遅延させる遅延過程と、
上記遅延過程で遅延させた上記後部残響除去信号推定値の和を、補正残響除去 信号値として算出する遅延補正過程と、を有する。
[23] 請求項 13に記載の残響除去方法であって、
M≥2である。
[24] 請求項 13に記載の残響除去方法であって、
上記マルチステップ線形予測モデルは、
X (n)をチャネル w (w= l , ..., M)に対応する離散時間 nの離散音響信号値とし、 w
X (n)をチャネル m (m= l, ..., M)に対応する離散時間 nの離散音響信号値とし、 e (n)をチャネル w及び離散時間 nに対応する予測誤差とし、 Nを正の整数とし、 [·]を w
ガウス記号とし、 a (p)を、 X ' (n)に対応する線形予測項のチャネル mに対応す w, m w
る P番目の線形予測係数とし、 Dをステップサイズを示す定数とした場合における、 [数 25]
M [N/M]
x n) =∑ ∑aw,m (p) ' xm(n - p - D) + ew (n)
m=l p=l である。
[25] 請求項 13に記載された残響除去方法の各過程をコンピュータに実行させるための 残響除去プログラム。
[26] 請求項 25に記載の残響除去プログラムを格納したコンピュータ読み取り可能な記 録媒体。
PCT/JP2007/054205 2006-03-03 2007-03-05 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体 Ceased WO2007100137A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008502883A JP4774100B2 (ja) 2006-03-03 2007-03-05 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体
EP07737780.2A EP1993320B1 (en) 2006-03-03 2007-03-05 Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium
CN2007800060354A CN101385386B (zh) 2006-03-03 2007-03-05 混响除去装置和混响除去方法
US12/280,101 US8271277B2 (en) 2006-03-03 2007-03-05 Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006-057235 2006-03-03
JP2006057235 2006-03-03
JP2006240677 2006-09-05
JP2006-240677 2006-09-05

Publications (1)

Publication Number Publication Date
WO2007100137A1 true WO2007100137A1 (ja) 2007-09-07

Family

ID=38459225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/054205 Ceased WO2007100137A1 (ja) 2006-03-03 2007-03-05 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US8271277B2 (ja)
EP (1) EP1993320B1 (ja)
JP (1) JP4774100B2 (ja)
CN (1) CN101385386B (ja)
WO (1) WO2007100137A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271359A (ja) * 2008-05-08 2009-11-19 Toyota Motor Corp 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム
JP2010074531A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 残響除去装置、残響除去方法、残響除去プログラム、記録媒体
KR101012709B1 (ko) * 2009-05-20 2011-02-09 국방과학연구소 위상비교 방향탐지기의 채널위상오차 제거 시스템 및 방법
WO2013005550A1 (ja) * 2011-07-01 2013-01-10 クラリオン株式会社 直接音抽出装置および残響音抽出装置
JP2013037174A (ja) * 2011-08-08 2013-02-21 Nippon Telegr & Teleph Corp <Ntt> 雑音／残響除去装置とその方法とプログラム
JP2015155982A (ja) * 2014-02-21 2015-08-27 日本電信電話株式会社 音声区間検出装置、音声認識装置、その方法、及びプログラム
WO2018110008A1 (ja) * 2016-12-16 2018-06-21 日本電信電話株式会社 目的音強調装置、雑音推定用パラメータ学習装置、目的音強調方法、雑音推定用パラメータ学習方法、プログラム
JPWO2019026973A1 (ja) * 2017-08-04 2019-11-21 日本電信電話株式会社 ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム
EP2237271B1 (en) 2009-03-31 2021-01-20 Cerence Operating Company Method for determining a signal component for reducing noise in an input signal
CN114708879A (zh) * 2022-04-15 2022-07-05 浙江大华技术股份有限公司 一种抑制晚期混响的方法、装置及存储介质

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2013869B1 (en) * 2006-05-01 2017-12-13 Nippon Telegraph And Telephone Corporation Method and apparatus for speech dereverberation based on probabilistic models of source and room acoustics
EP2058804B1 (en) * 2007-10-31 2016-12-14 Nuance Communications, Inc. Method for dereverberation of an acoustic signal and system thereof
JP5124014B2 (ja) * 2008-03-06 2013-01-23 日本電信電話株式会社 信号強調装置、その方法、プログラム及び記録媒体
US8867754B2 (en) * 2009-02-13 2014-10-21 Honda Motor Co., Ltd. Dereverberation apparatus and dereverberation method
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
US8761410B1 (en) * 2010-08-12 2014-06-24 Audience, Inc. Systems and methods for multi-channel dereverberation
EP2444967A1 (en) * 2010-10-25 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Echo suppression comprising modeling of late reverberation components
JP5699844B2 (ja) * 2011-07-28 2015-04-15 富士通株式会社 残響抑制装置および残響抑制方法並びに残響抑制プログラム
EP4488997A3 (en) * 2011-11-03 2025-01-22 VoiceAge EVS LLC Improving non-speech content for low rate celp decoder
JP5842056B2 (ja) * 2012-03-06 2016-01-13 日本電信電話株式会社 雑音推定装置、雑音推定方法、雑音推定プログラム及び記録媒体
CN103487794B (zh) * 2012-06-13 2016-01-06 中国科学院声学研究所 一种基于小波包变换的水底混响抑制方法
CN102750956B (zh) * 2012-06-18 2014-07-16 歌尔声学股份有限公司 一种单通道语音去混响的方法和装置
JP6077957B2 (ja) * 2013-07-08 2017-02-08 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理プログラム
JP6261043B2 (ja) * 2013-08-30 2018-01-17 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理プログラム
US10373611B2 (en) 2014-01-03 2019-08-06 Gracenote, Inc. Modification of electronic system operation based on acoustic ambience classification
EP2916320A1 (en) 2014-03-07 2015-09-09 Oticon A/s Multi-microphone method for estimation of target and noise spectral variances
EP2916321B1 (en) 2014-03-07 2017-10-25 Oticon A/s Processing of a noisy audio signal to estimate target and noise spectral variances
WO2016056683A1 (ko) 2014-10-07 2016-04-14 삼성전자 주식회사 전자 장치 및 이의 잔향 제거 방법
US9390723B1 (en) * 2014-12-11 2016-07-12 Amazon Technologies, Inc. Efficient dereverberation in networked audio systems
US9558757B1 (en) * 2015-02-20 2017-01-31 Amazon Technologies, Inc. Selective de-reverberation using blind estimation of reverberation level
WO2017007848A1 (en) * 2015-07-06 2017-01-12 Dolby Laboratories Licensing Corporation Estimation of reverberant energy component from active audio source
CN105448302B (zh) * 2015-11-10 2019-06-25 厦门快商通科技股份有限公司 一种环境自适应的语音混响消除方法和系统
CN105529034A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种基于混响的语音识别方法和装置
CN106710602B (zh) * 2016-12-29 2020-03-17 南方科技大学 一种声学混响时间估计方法和装置
US11373667B2 (en) * 2017-04-19 2022-06-28 Synaptics Incorporated Real-time single-channel speech enhancement in noisy and time-varying environments
US10013995B1 (en) * 2017-05-10 2018-07-03 Cirrus Logic, Inc. Combined reference signal for acoustic echo cancellation
US9947338B1 (en) * 2017-09-19 2018-04-17 Amazon Technologies, Inc. Echo latency estimation
US11823083B2 (en) * 2019-11-08 2023-11-21 International Business Machines Corporation N-steps-ahead prediction based on discounted sum of m-th order differences
CN111031448B (zh) * 2019-11-12 2021-09-17 西安讯飞超脑信息科技有限公司 回声消除方法、装置、电子设备和存储介质
JP7615562B2 (ja) * 2020-08-07 2025-01-17 オムロン株式会社 伝搬時間測定装置
EP4149120A1 (en) * 2021-09-09 2023-03-15 Sonova AG Method, hearing system, and computer program for improving a listening experience of a user wearing a hearing device, and computer-readable medium
WO2023128036A1 (ko) * 2022-01-03 2023-07-06 엘지전자 주식회사 오디오 장치
CN114898763B (zh) * 2022-05-27 2025-04-25 随锐科技集团股份有限公司 用于预测混响时间的方法及其相关产品

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4658426A (en) 1985-10-10 1987-04-14 Harold Antin Adaptive noise suppressor
JPS62190935A (ja) * 1986-02-17 1987-08-21 Nippon Telegr & Teleph Corp <Ntt> 多入力形制御装置
JPH0766757A (ja) * 1993-08-30 1995-03-10 Nippon Telegr & Teleph Corp <Ntt> エコーキャンセル方法
JPH0934497A (ja) * 1995-07-14 1997-02-07 Matsushita Electric Ind Co Ltd ノイズ削減装置
JPH09261133A (ja) * 1996-03-25 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 残響抑圧方法および装置
JPH09321860A (ja) * 1996-03-25 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 残響除去方法及び装置
JPH1078797A (ja) * 1996-09-04 1998-03-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号処理方法
EP1109154A2 (en) 1999-12-15 2001-06-20 Nortel Networks Limited Linear predictive coding based acoustic echo cancellation
JP2003188776A (ja) * 2001-12-21 2003-07-04 Nippon Telegr & Teleph Corp <Ntt> 音響エコー消去方法、装置及び音響エコー消去プログラム
US20040170284A1 (en) 2001-07-20 2004-09-02 Janse Cornelis Pieter Sound reinforcement system having an echo suppressor and loudspeaker beamformer
JP2004295039A (ja) * 2003-03-28 2004-10-21 Nippon Telegr & Teleph Corp <Ntt> 入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体
JP2004325127A (ja) * 2003-04-22 2004-11-18 Nippon Telegr & Teleph Corp <Ntt> 音源検出方法、音源分離方法、およびこれらを実施する装置
JP2004347761A (ja) * 2003-05-21 2004-12-09 Internatl Business Mach Corp <Ibm> 音声認識装置、音声認識方法、該音声認識方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムおよび記憶媒体
WO2006011104A1 (en) 2004-07-22 2006-02-02 Koninklijke Philips Electronics N.V. Audio signal dereverberation

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3542954A (en) * 1968-06-17 1970-11-24 Bell Telephone Labor Inc Dereverberation by spectral measurement
US4087633A (en) * 1977-07-18 1978-05-02 Bell Telephone Laboratories, Incorporated Dereverberation system
US4131760A (en) * 1977-12-07 1978-12-26 Bell Telephone Laboratories, Incorporated Multiple microphone dereverberation system
US4683590A (en) * 1985-03-18 1987-07-28 Nippon Telegraph And Telphone Corporation Inverse control system
US5574824A (en) * 1994-04-11 1996-11-12 The United States Of America As Represented By The Secretary Of The Air Force Analysis/synthesis-based microphone array speech enhancer with variable signal distortion
US5774846A (en) * 1994-12-19 1998-06-30 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus, linear prediction coefficient analyzing apparatus and noise reducing apparatus
DE69628618T2 (de) * 1995-09-26 2004-05-13 Nippon Telegraph And Telephone Corp. Verfahren und Einrichtung zur mehrkanaligen Kompensation eines akustischen Echos
US5774562A (en) * 1996-03-25 1998-06-30 Nippon Telegraph And Telephone Corp. Method and apparatus for dereverberation
US6363345B1 (en) * 1999-02-18 2002-03-26 Andrea Electronics Corporation System, method and apparatus for cancelling noise
GB9922654D0 (en) * 1999-09-27 1999-11-24 Jaber Marwan Noise suppression system
US6377637B1 (en) * 2000-07-12 2002-04-23 Andrea Electronics Corporation Sub-band exponential smoothing noise canceling system
US8284947B2 (en) * 2004-12-01 2012-10-09 Qnx Software Systems Limited Reverberation estimation and suppression system
US7844059B2 (en) * 2005-03-16 2010-11-30 Microsoft Corporation Dereverberation of multi-channel audio streams
ATE450983T1 (de) * 2005-04-29 2009-12-15 Harman Becker Automotive Sys Kompensation des echos und der rückkopplung
EP2013869B1 (en) * 2006-05-01 2017-12-13 Nippon Telegraph And Telephone Corporation Method and apparatus for speech dereverberation based on probabilistic models of source and room acoustics

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4658426A (en) 1985-10-10 1987-04-14 Harold Antin Adaptive noise suppressor
JPS62190935A (ja) * 1986-02-17 1987-08-21 Nippon Telegr & Teleph Corp <Ntt> 多入力形制御装置
JPH0766757A (ja) * 1993-08-30 1995-03-10 Nippon Telegr & Teleph Corp <Ntt> エコーキャンセル方法
JPH0934497A (ja) * 1995-07-14 1997-02-07 Matsushita Electric Ind Co Ltd ノイズ削減装置
JPH09261133A (ja) * 1996-03-25 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 残響抑圧方法および装置
JPH09321860A (ja) * 1996-03-25 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 残響除去方法及び装置
JPH1078797A (ja) * 1996-09-04 1998-03-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号処理方法
EP1109154A2 (en) 1999-12-15 2001-06-20 Nortel Networks Limited Linear predictive coding based acoustic echo cancellation
US20040170284A1 (en) 2001-07-20 2004-09-02 Janse Cornelis Pieter Sound reinforcement system having an echo suppressor and loudspeaker beamformer
JP2003188776A (ja) * 2001-12-21 2003-07-04 Nippon Telegr & Teleph Corp <Ntt> 音響エコー消去方法、装置及び音響エコー消去プログラム
JP2004295039A (ja) * 2003-03-28 2004-10-21 Nippon Telegr & Teleph Corp <Ntt> 入力信号推定方法、及び装置、入力信号推定プログラムならびにその記録媒体
JP2004325127A (ja) * 2003-04-22 2004-11-18 Nippon Telegr & Teleph Corp <Ntt> 音源検出方法、音源分離方法、およびこれらを実施する装置
JP2004347761A (ja) * 2003-05-21 2004-12-09 Internatl Business Mach Corp <Ibm> 音声認識装置、音声認識方法、該音声認識方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムおよび記憶媒体
WO2006011104A1 (en) 2004-07-22 2006-02-02 Koninklijke Philips Electronics N.V. Audio signal dereverberation

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
I. TASHEV; D. ALLRED: "Reverberation Reduction for Improved Speech Recognition", JOINT WORKSHOP ON HANDS-FREE SPEECH COMMUNICATION AND MICROPHONE ARRAYS, 2005
See also references of EP1993320A4
YEGNANARAYANA, B. ET AL.: "Enhancement of reverberant speech using LP residual", PROCEEDINGS OF THE 1998 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, vol. 1, 1998, pages 405 - 408

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009271359A (ja) * 2008-05-08 2009-11-19 Toyota Motor Corp 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム
JP2010074531A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 残響除去装置、残響除去方法、残響除去プログラム、記録媒体
EP2237271B1 (en) 2009-03-31 2021-01-20 Cerence Operating Company Method for determining a signal component for reducing noise in an input signal
KR101012709B1 (ko) * 2009-05-20 2011-02-09 국방과학연구소 위상비교 방향탐지기의 채널위상오차 제거 시스템 및 방법
CN103503066A (zh) * 2011-07-01 2014-01-08 歌乐株式会社 直达声提取装置和混响声提取装置
JP2013015606A (ja) * 2011-07-01 2013-01-24 Clarion Co Ltd 直接音抽出装置および残響音抽出装置
CN103503066B (zh) * 2011-07-01 2015-07-01 歌乐株式会社 直达声提取装置和混响声提取装置
WO2013005550A1 (ja) * 2011-07-01 2013-01-10 クラリオン株式会社 直接音抽出装置および残響音抽出装置
JP2013037174A (ja) * 2011-08-08 2013-02-21 Nippon Telegr & Teleph Corp <Ntt> 雑音／残響除去装置とその方法とプログラム
JP2015155982A (ja) * 2014-02-21 2015-08-27 日本電信電話株式会社 音声区間検出装置、音声認識装置、その方法、及びプログラム
WO2018110008A1 (ja) * 2016-12-16 2018-06-21 日本電信電話株式会社 目的音強調装置、雑音推定用パラメータ学習装置、目的音強調方法、雑音推定用パラメータ学習方法、プログラム
CN110036441A (zh) * 2016-12-16 2019-07-19 日本电信电话株式会社 目标音强调装置、噪音估计用参数学习装置、目标音强调方法、噪音估计用参数学习方法、程序
CN110036441B (zh) * 2016-12-16 2023-02-17 日本电信电话株式会社 目标音强调装置及方法、噪音估计用参数学习装置及方法、记录介质
JPWO2019026973A1 (ja) * 2017-08-04 2019-11-21 日本電信電話株式会社 ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム
CN114708879A (zh) * 2022-04-15 2022-07-05 浙江大华技术股份有限公司 一种抑制晚期混响的方法、装置及存储介质

Also Published As

Publication number Publication date
EP1993320A4 (en) 2010-03-10
EP1993320A1 (en) 2008-11-19
JP4774100B2 (ja) 2011-09-14
EP1993320B1 (en) 2015-01-07
JPWO2007100137A1 (ja) 2009-07-23
US8271277B2 (en) 2012-09-18
US20090248403A1 (en) 2009-10-01
CN101385386B (zh) 2012-05-09
CN101385386A (zh) 2009-03-11

Similar Documents

Publication Publication Date Title
WO2007100137A1 (ja) 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体
Tan et al. Real-time speech enhancement using an efficient convolutional recurrent network for dual-microphone mobile phones in close-talk scenarios
CN108172231B (zh) 一种基于卡尔曼滤波的去混响方法及系统
JP5124014B2 (ja) 信号強調装置、その方法、プログラム及び記録媒体
Xiao et al. Speech dereverberation for enhancement and recognition using dynamic features constrained deep neural networks and feature adaptation
JP4532576B2 (ja) 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム
US12400673B2 (en) Method and system for reverberation modeling of speech signals
CN110998723B (zh) 使用神经网络的信号处理装置及信号处理方法、记录介质
JP2012155339A (ja) 音声状態モデルを使用したマルチセンサ音声高品質化
CN113571047B (zh) 一种音频数据的处理方法、装置及设备
JP6827908B2 (ja) 音源強調装置、音源強調学習装置、音源強調方法、プログラム
Su et al. Perceptually-motivated environment-specific speech enhancement
Wang et al. Dereverberation and denoising based on generalized spectral subtraction by multi-channel LMS algorithm using a small-scale microphone array
US11790930B2 (en) Method and system for dereverberation of speech signals
Shankar et al. Efficient two-microphone speech enhancement using basic recurrent neural network cell for hearing and hearing aids
KR20220022286A (ko) 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치
Al-Karawi et al. Model selection toward robustness speaker verification in reverberant conditions
Ueda et al. Environment-dependent denoising autoencoder for distant-talking speech recognition
Zhang et al. Distant-talking speaker identification by generalized spectral subtraction-based dereverberation and its efficient computation
Joshi et al. Modified mean and variance normalization: transforming to utterance-specific estimates
JP4977100B2 (ja) 残響除去装置、残響除去方法、そのプログラムおよび記録媒体
JP2009139615A (ja) 音響再生装置、音響再生方法、音響再生プログラム、及び音響再生システム
JP2007065204A (ja) 残響除去装置、残響除去方法、残響除去プログラム及びその記録媒体
Ma et al. Mutual learning for acoustic matching and dereverberation via visual scene-driven diffusion
JP4612468B2 (ja) 信号抽出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2008502883

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 200780006035.4

Country of ref document: CN

Ref document number: 2007737780

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12280101

Country of ref document: US