WO2013136846A1 - 音響信号処理装置および音響信号処理方法 - Google Patents

音響信号処理装置および音響信号処理方法 Download PDF

Info

Publication number
WO2013136846A1
WO2013136846A1 PCT/JP2013/051273 JP2013051273W WO2013136846A1 WO 2013136846 A1 WO2013136846 A1 WO 2013136846A1 JP 2013051273 W JP2013051273 W JP 2013051273W WO 2013136846 A1 WO2013136846 A1 WO 2013136846A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
spectrum signal
amplitude
amplitude spectrum
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/051273
Other languages
English (en)
French (fr)
Inventor
橋本 武志
哲生 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to US14/381,989 priority Critical patent/US9280986B2/en
Priority to EP13760657.0A priority patent/EP2827330B1/en
Priority to CN201380013601.XA priority patent/CN104185870B/zh
Publication of WO2013136846A1 publication Critical patent/WO2013136846A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • G10L21/057Time compression or expansion for improving intelligibility
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0091Means for obtaining special acoustic effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers
    • H04R3/04Circuits for transducers for correcting frequency response
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281Reverberation or echo
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007Electronic adaptation of audio signals to reverberation of the listening space for PA

Definitions

  • the present invention relates to an acoustic signal processing device and an acoustic signal processing method, and more specifically, acoustic signal processing capable of performing attack sound and reverberation enhancement / reduction processing, noise reduction processing, and the like in an input audio signal.
  • the present invention relates to an apparatus and an acoustic signal processing method.
  • MP3 MPEG Audio Layer-3
  • MP3 is well known as one of the data-compressed digital audio signals.
  • MP3 is one of the compression techniques for handling acoustic data by digital technology, and is widely used in portable music players and the like today.
  • an attack sound is detected by comparing a signal level of a predetermined frequency band extracted through a band division filter with a preset threshold level and detecting a digital signal equal to or higher than the threshold. . Then, the digital signal processing apparatus amplifies the detected attack sound and synthesizes the amplified attack sound with the digital signal before the band division, thereby enhancing the attack sound.
  • the attack sound included in the predetermined frequency band can be amplified and emphasized according to the signal level. For example, when a low-range attack sound is amplified, a powerful sound such as a drum is generated. The feeling of dynamism can be increased. In addition, when a high frequency attack sound is amplified, a sound such as a cymbal can be made more clear and clear.
  • the attack sound included in the sound source is detected based on a predetermined threshold.
  • the sound source is recorded at every amplitude level, it is difficult to sufficiently detect the attack sound only by the threshold.
  • both are synthesized to indicate the amplitude of the sound source, so it is difficult to distinguish between the attack sound of the instrument sound and the signal level of the sound by the threshold. There is a risk that not only the attack sound of the instrument sound but also the sound signal is amplified.
  • musical instrument sounds and the like are formed by an attack sound at the rising edge of the waveform and a subsequent reverberation (remanent component), but the digital signal processing apparatus described above only controls the attack sound. There is no particular control over the reverberation. For this reason, it is possible to realize a sharp output sound by amplification of the attack sound, but there is a possibility that only the sharpness is emphasized more strongly than the reverberation.
  • the digital signal processing apparatus described above emphasizes the output sound without lowering the S / N ratio (signal-to-noise ratio) as compared to an amplification method such as a conventional equalizer that amplifies a predetermined frequency band uniformly. Is possible. However, if noise always exists in the recording environment of the sound source, especially if stationary noise is included in the attack sound extraction band, the attack sound including the noise may be boosted and synthesized. As a result, the S / N ratio may be greatly reduced.
  • the present invention has been made in view of the above problems, and includes an attack sound included in a sound source such as a musical instrument sound, a lingering sound that continues thereafter, and a stationary noise component and a steady sound included in the sound source. It is an object of the present invention to provide an acoustic signal processing device and an acoustic signal processing method capable of producing an output sound suitable for a listener by adjusting a signal component.
  • the acoustic signal processing apparatus performs time-dependent Fourier transform on an input audio signal while performing time-shifting of the difference time between the Fourier transform length and the overlap length, thereby varying the time by the difference time.
  • a plurality of amplitude spectra are obtained, and a time variation for each frequency of each obtained amplitude spectrum is obtained to obtain a frequency spectrum signal by converting the input audio signal from the time domain to the frequency domain.
  • the FFT unit that generates the first amplitude spectrum signal and the phase spectrum signal, and the second amplitude spectrum signal is generated by controlling the attack component of the first amplitude spectrum signal generated by the FFT unit.
  • the first amplitude spectrum generated by the attack component control unit and the FFT unit A reverberation component control unit that generates a third amplitude spectrum signal by controlling a reverberation component of the signal, the first amplitude spectrum signal generated by the FFT unit, and the second amplitude generated by the attack component control unit A first adder that synthesizes a spectrum signal and the third amplitude spectrum signal generated by the reverberation component control unit to generate a fourth amplitude spectrum signal; and the fourth adder generated by the first adder.
  • a first HPF unit that performs high-pass filter processing for each spectrum on the first amplitude spectrum signal generated by the FFT unit based on a preset first cutoff frequency, and a high-pass by the first HPF unit.
  • a first limiter unit that detects an attack component of the amplitude spectrum signal for each spectrum by limiting the negative amplitude of the filtered amplitude spectrum signal to 0 and setting a first weighting amount that is set in advance.
  • a first gain unit that performs weighting processing on the attack component of the amplitude spectrum signal detected by the first limiter unit, wherein the reverberation component control unit has a preset second cutoff frequency.
  • the FFT unit On the basis of the first amplitude spectrum signal generated by the FFT unit.
  • a second HPF unit that performs filtering, an amplitude inverting unit that inverts the amplitude spectrum signal multiplied by ⁇ 1 by the amplitude spectrum signal that has been subjected to high-pass filtering in the second HPF unit, and the amplitude inverting unit performs amplitude inversion.
  • an acoustic signal processing method includes an FFT unit that generates a first amplitude spectrum signal and a phase spectrum signal by converting an input audio signal from a time domain to a frequency domain to obtain a frequency spectrum signal.
  • An attack component control unit for generating a second amplitude spectrum signal by controlling an attack component of the first amplitude spectrum signal generated by the FFT unit; and a reverberation of the first amplitude spectrum signal generated by the FFT unit
  • a reverberation component control unit that controls a component to generate a third amplitude spectrum signal, the first amplitude spectrum signal generated by the FFT unit, and the second amplitude spectrum signal generated by the attack component control unit,
  • the fourth amplitude spectrum signal is synthesized with the third amplitude spectrum signal generated by the reverberation component control unit.
  • An IFFT unit that generates an audio signal
  • the attack component control unit includes a first HPF unit, a first limiter unit, and a first gain unit
  • the reverberation component control unit includes a second HPF unit
  • An acoustic signal processing method for an acoustic signal processing apparatus which includes an amplitude inverting unit, a second limiter unit, and a second gain unit, and performs attack component control and reverberation component control on the input audio signal.
  • the FFT unit performs a short-time Fourier transform on the input audio signal while time-shifting the difference time between the Fourier transform length and the overlap length. Moreover, obtaining a plurality of amplitude spectra having different times for each difference time, obtaining the frequency spectrum signal by obtaining a time variation for each frequency of each obtained amplitude spectrum, and further, based on the frequency spectrum signal, One amplitude spectrum signal and the phase spectrum signal are generated.
  • the first HPF unit is configured to generate the first HPF unit based on a preset first cutoff frequency.
  • the amplitude spectrum signal is subjected to high-pass filter processing for each spectrum, and the first limiter unit limits the amplitude on the minus side of the amplitude spectrum signal subjected to high-pass filter processing by the first HPF unit and sets it to zero.
  • the first gain unit performs a weighting process on the attack component of the amplitude spectrum signal detected by the first limiter unit based on a preset first weighting amount.
  • the 2HPF unit performs high-pass filter processing for each spectrum on the first amplitude spectrum signal generated by the FFT unit based on a preset second cutoff frequency, and the amplitude inversion unit
  • the amplitude spectrum signal subjected to the high-pass filter processing in the second HPF unit is multiplied by ⁇ 1 to invert the amplitude
  • the second limiter unit is a minus side of the amplitude spectrum signal in which the amplitude is inverted by the amplitude inversion unit.
  • the weight unit performs a weighting process on the remnant component of the amplitude spectrum signal detected by the second limiter based on a preset second weighting amount, and the first adder
  • the spectrum signal, the second amplitude spectrum signal that is weighted with respect to the attack component by the first gain unit, and the third amplitude that is weighted with respect to the reverberation component by the second gain unit The IFFT unit generates a frequency spectrum signal based on the fourth amplitude spectrum signal and the phase spectrum signal generated by the FFT unit.
  • the frequency domain signal is obtained by performing short-time inverse Fourier transform processing and overlap addition on the obtained frequency spectrum signal. And generating the audio signal converted into et time domain.
  • the attack component (attack sound) of the audio signal is enhanced / reduced by adjusting the first weighting amount of the first gain unit in the attack component control unit. be able to.
  • the control time (enhancement time, reduction time) of the attack component can be changed by adjusting the first cutoff frequency in the first HPF unit. For this reason, by amplifying and emphasizing the attack component according to the signal level, it becomes possible to express a sharp expression in the output sound as a whole.
  • it is possible to improve the sound quality of a digital audio signal by controlling an attack component that may be deteriorated in a general digital audio signal such as MP3.
  • the second weighting amount of the second gain unit in the residual component control unit is adjusted to increase / decrease the residual component (reverberation) of the audio signal. It can be carried out. Further, the control time (enhancement time, reduction time) of the reverberation can be changed by adjusting the second cutoff frequency in the second HPF unit. For this reason, it is possible to emphasize or reduce the reverberation according to the listener's preference.
  • attack component control process by the attack component control unit and the afterglow component control process by the afterglow component control unit are performed based on the amount of change for each amplitude spectrum in the frequency domain. For this reason, the detection state is not greatly influenced by the amplitude level of the sound source as in the case of identifying the attack sound using the threshold as in the prior art.
  • the setting of the cut-off frequency (first cut-off frequency and second cut-off frequency) and the setting of weighting amounts (first weighting amount and second weighting amount) in the attack component control unit and the reverberation component control unit are amplitude spectra. Since it can be set individually for each, the frequency band can be divided into a plurality of bands and set individually.
  • the attack component is increased and the reverberation is reduced, so that the drum and the like are powerful and responsive. Sound can be reproduced.
  • the attack component By enhancing the reverberation component in the middle range to emphasize the sound of the voice, and increasing the attack component in the high range, it becomes possible to make the sound such as cymbals more transparent and clear.
  • the acoustic signal processing device described above includes a noise control unit that performs noise control of the fourth amplitude spectrum signal generated by the first addition unit to generate a fifth amplitude spectrum signal
  • the IFFT unit includes: Based on the fifth amplitude spectrum signal generated by the noise control unit and the phase spectrum signal generated by the FFT unit, the audio signal converted from the frequency domain to the time domain is generated, and the noise A control unit configured to perform a high-pass filter process for each spectrum on the fourth amplitude spectrum signal generated by the first addition unit based on a preset third cutoff frequency;
  • the third HPF unit limits the amplitude on the minus side of the amplitude spectrum signal subjected to the high-pass filter processing and sets it to 0
  • a third gain unit for performing weighting processing of an amplitude spectrum signal in which a minus side amplitude is limited by the third limiter unit based on a third weighting amount including a preset value between 0 and 1 inclusive.
  • a fourth gain unit that performs weighting processing of the fourth amplitude spectrum signal generated in the first addition unit based on a weighting amount obtained by subtracting the value of the third weighting amount from the value 1, and the third gain unit
  • a second adder that generates the fifth amplitude spectrum signal by combining the amplitude spectrum signal weighted by the gain section and the amplitude spectrum signal weighted by the fourth gain section; It may be a thing.
  • the acoustic signal processing method described above includes a noise control unit that performs noise control on the fourth amplitude spectrum signal generated by the first addition unit to generate a fifth amplitude spectrum signal
  • the noise control unit includes: , A third HPF unit, a third limiter unit, a third gain unit, a fourth gain unit, and a second addition unit, wherein the IFFT unit generates the fifth amplitude generated by the noise control unit.
  • the third HPF unit is preset.
  • the third limiter unit limits the amplitude of the negative side of the amplitude spectrum signal high-pass filtered by the third HPF unit and sets it to 0, and the third gain unit sets a preset 0 Based on the third weighting amount having a value of 1 or less, the third limiter performs weighting processing of the amplitude spectrum signal in which the negative-side amplitude is limited, and the fourth gain unit performs the weighting processing from the value 1 to the first Based on the weighting amount obtained by subtracting the value of the 3 weighting amount, the fourth amplitude spectrum signal generated in the first adding unit is weighted, and the second adding unit is weighted by the third gain unit.
  • the fifth amplitude spectrum signal is generated by synthesizing the amplitude spectrum signal subjected to the processing and the amplitude spectrum signal weighted by the fourth gain unit It may be a shall.
  • the noise reduction amount can be adjusted by adjusting the weighting amounts of the third gain unit and the fourth gain unit in the noise control unit. Furthermore, the DC component of noise can be suppressed (suppressed) by adjusting the third cutoff frequency in the third HPF unit. For this reason, it is possible to adjust the stationary noise included in the recording environment of the sound source and the sound source itself.
  • the noise reduction processing by the noise control unit is performed based on the amount of change for each amplitude spectrum in the frequency domain, so the amplitude of the sound source is identified as in the case of identifying an attack sound using a threshold as in the prior art.
  • the detection state is not greatly affected by the level.
  • the noise control unit can perform noise control to reduce the amount of noise, so that the presence is maintained to some extent. It is possible to output the sound components of instrumental sounds and voices with clear sound.
  • an attack component included in a sound source such as a musical instrument sound, a subsequent reverberation component (resonance), a steady noise component or sound source in a recording environment Therefore, it is possible to adjust various stationary listeners' preferences.
  • (A) is the figure which showed the relationship of the increase amount and reduction amount corresponding to the weighting amount set in a 1st gain part and a 2nd gain part.
  • (B) is the figure which showed the relationship between the cutoff frequency set in the 1st HPF part and the 2nd HPF part, and the control time of the attack sound or lingering sound which changes according to the set cutoff frequency.
  • (A) is the figure which showed the relationship between the weighting amount and noise reduction amount in the 3rd gain part of a noise control part.
  • (B) is the figure which showed an example of the signal state of the input audio signal used for an acoustic signal process.
  • FIG. (A) is the figure which showed the output signal when operating only the 1st HPF part and the 1st limiter part of an attack sound control part.
  • (B) is a signal obtained by operating the first HPF unit and the first limiter unit and synthesizing the audio signal in which the weighting amount value of the first gain unit is set to 1 and the audio signal input to the frequency spectrum domain filter unit.
  • FIG. (A) operates the first HPF unit and the first limiter unit of the attack sound control unit, the audio signal in which the weighting amount value of the first gain unit is set to ⁇ 1, and the frequency spectrum domain filter unit It is the figure which showed the signal which synthesize
  • (B) is the figure which showed the synthetic
  • (A) is the figure which showed the output signal when operating only the 2nd HPF part of a reverberation control part, an amplitude inversion part, and a 2nd limiter part.
  • (B) is a signal shown in FIG.
  • FIG. 1 is a block diagram showing a schematic configuration of an acoustic signal processing apparatus.
  • the acoustic signal processing apparatus 1 includes an FFT (Fast Fourier ⁇ Transform) unit 2, a frequency spectrum domain filter unit 3, and an IFFT (Inverse Fourier Transform: inverse Fourier transform) unit 4. And have.
  • An audio signal reproduced by an audio signal reproduction device (not shown) is input to the FFT unit 2 of the acoustic signal processing device 1, and the signal subjected to the acoustic processing in the acoustic signal processing device 1 is received from the IFFT unit 4. Is output from a speaker (not shown).
  • the FFT unit 2 weights the input audio signal by overlap processing and a window function, and then converts from the time domain to the frequency domain by a short-time Fourier transform process to obtain a real and imaginary frequency spectrum. Ask for.
  • the FFT unit 2 converts the obtained frequency spectrum into an amplitude spectrum signal (first amplitude spectrum signal) and a phase spectrum signal.
  • the FFT unit 2 outputs the amplitude spectrum signal (first amplitude spectrum signal) to the frequency spectrum domain filter unit 3 and outputs the phase spectrum signal to the IFFT unit 4.
  • FIG. 2 is a diagram showing an input audio signal and a Fourier transform length N and an overlap length M when a short-time Fourier transform process is performed on the audio signal.
  • the FFT unit 2 performs short-time Fourier transform while time-shifting the difference time between the Fourier transform length N and the overlap length M.
  • tn time t1, t2, t3, t4, t5,
  • n 1, 2,... n) frequency spectra are obtained.
  • FIG. 3 is a diagram showing an amplitude spectrum for each time shift. Specifically, FIG. 3 shows an amplitude spectrum at time t1, an amplitude spectrum at time t2, and an amplitude spectrum at time t3. For each frequency (f1, f2, f3, f4, f5, f6, and so on). The amplitudes of f7, f8,..., fn ⁇ 1, fn) are shown.
  • a non-stationary signal such as music is input to the FFT unit 2 as an audio signal
  • the total number of amplitude spectra is N.
  • FIG. 4 is a diagram showing the time variation of the amplitude spectrum. Specifically, FIG. 4 shows the time variation of the amplitude spectrum of the frequency f1, the time variation of the amplitude spectrum of the frequency f2, and the time variation of the amplitude spectrum of the frequency f3. The amplitudes of t2, t3, t4, t5,. The time shift interval becomes the sampling frequency of the frequency spectrum.
  • FIG. 5 is a block diagram showing a schematic configuration of the frequency spectrum domain filter unit 3.
  • the frequency spectrum domain filter unit 3 includes an attack sound control unit (attack component control unit) 10, a reverberation control unit (remnant component control unit) 20, a noise control unit 30, and a first addition unit. 40 and a fourth limiter 41.
  • Part of the amplitude spectrum signal (first amplitude spectrum signal) output from the FFT unit 2 toward the frequency spectrum domain filter unit 3 is input to the attack sound control unit 10 and the reverberation control unit 20, respectively.
  • the amplitude spectrum signals (second amplitude spectrum signal and third amplitude spectrum signal) processed in the attack sound control unit 10 and the afterglow control unit 20 are output to the first addition unit 40, respectively.
  • the remainder of the amplitude spectrum signal (first amplitude spectrum signal) output from the FFT unit 2 to the frequency spectrum domain filter unit 3 is directly output to the first addition unit 40.
  • the frequency spectrum domain filter unit 3 performs filter processing, amplitude limiting processing, and amplitude weighting processing on the audio signal (first amplitude spectrum signal) input from the FFT unit 2 for each amplitude spectrum.
  • the phase spectrum of the audio signal is not processed as shown in FIG.
  • the attack sound control unit 10 includes a first HPF (High-pass filter) unit 11, a first limiter unit 12, and a first gain unit 13.
  • HPF High-pass filter
  • the first HPF unit 11 performs high-pass filter processing, that is, differentiation processing for each spectrum on the input amplitude spectrum signal (first amplitude spectrum signal).
  • the first limiter unit 12 limits the minus-side amplitude of the high-pass filter-processed amplitude spectrum signal and sets it to zero. By setting the minus side amplitude to 0 in this way, it is possible to detect the rising component of the signal for each spectrum, that is, the attack component (attack sound).
  • control time of the attack sound becomes shorter as the value of the cut-off frequency (first cut-off frequency) set in the first HPF unit 11 becomes larger, and the control time becomes longer as the value becomes smaller.
  • the cut-off frequency can be set as a parameter as shown in FIG.
  • the first gain unit 13 performs weighting (multiplication) on the attack component of the amplitude spectrum signal detected by the first limiter unit 12.
  • the signal weighted by the first gain unit 13 (second amplitude spectrum signal) is output to the first addition unit 40.
  • the attack sound control unit 10 performs the original amplitude spectrum signal (amplitude spectrum signal not subjected to acoustic processing in the attack sound control unit 10 and the afterglow control unit 20: a first amplitude spectrum signal).
  • the amplitude spectrum signal (second amplitude spectrum signal) subjected to the acoustic processing of the attack component is synthesized, and the weighting amount (first weighting amount) is a positive value, the original amplitude spectrum signal ( The attack sound is enhanced with respect to the first amplitude spectrum signal), and if the value is negative, the attack sound is reduced.
  • This weighting amount (first weighting amount) can be set as a parameter as shown in FIG. In the present embodiment, a value between ⁇ 1 and 1 is set as will be described later.
  • the reverberation control unit 20 includes a second HPF unit 21, an amplitude inverting unit 22, a second limiter unit 23, and a second gain unit 24.
  • the second HPF unit 21 performs high-pass filter processing, that is, differentiation processing for each spectrum on the input amplitude spectrum signal (first amplitude spectrum signal).
  • the amplitude inverting unit 22 inverts the amplitude by multiplying the amplitude spectrum signal subjected to the high-pass filter processing in the second HPF unit 21 by -1.
  • the second limiter unit 23 limits the amplitude of the minus side of the amplitude spectrum signal subjected to the amplitude inversion and sets it to 0. By setting the minus side amplitude to 0 in this way, it is possible to detect the falling component of the signal for each spectrum, that is, the reverberation component.
  • the cut-off frequency can be set as a parameter as shown in FIG.
  • the second gain unit 24 performs weighting (multiplication) on the reverberation component of the amplitude spectrum signal detected by the second limiter unit 23.
  • the signal weighted by the second gain unit 24 (third amplitude spectrum signal) is output to the first addition unit 40.
  • the reverberation control unit 20 performs reverberation on the original amplitude spectrum signal (amplitude spectrum signal not subjected to acoustic processing in the attack sound control unit 10 and reverberation control unit 20: first amplitude spectrum signal).
  • This weighting amount (second weighting amount) can be set as a parameter as shown in FIG. In the present embodiment, a value between ⁇ 1 and 1 is set as will be described later.
  • the first addition unit 40 includes an amplitude spectrum signal (second amplitude spectrum signal) that has been subjected to acoustic processing for an attack sound by the attack sound control unit 10 and an amplitude spectrum signal that has been subjected to acoustic processing for the reverberation by the reverberation control unit 20. (Third amplitude spectrum signal) and the original amplitude spectrum signal (first amplitude spectrum signal) input from the FFT unit 2 are combined.
  • the amplitude spectrum signal (fourth amplitude spectrum signal) synthesized by the first addition unit 40 is a state in which the attack sound and the reverberation are enhanced or reduced with respect to the original amplitude spectrum signal (first amplitude spectrum signal). And output to the noise control unit 30.
  • the noise control unit 30 has a role of improving the S / N ratio.
  • the noise control unit 30 includes a third HPF unit 31, a third limiter unit 32, a third gain unit 33, a fourth gain unit 34, and a second addition unit 35.
  • the amplitude spectrum signal (fourth amplitude spectrum signal) synthesized by the first addition unit 40 is output to the third HPF unit 31 and the fourth gain unit 34, respectively.
  • the third HPF unit 31 performs high-pass filter processing, that is, differentiation processing for each spectrum on the amplitude spectrum signal (fourth amplitude spectrum signal) synthesized (generated) in the first addition unit 40.
  • the third limiter unit 32 limits the minus-side amplitude of the high-pass filter-processed amplitude spectrum signal and sets it to zero.
  • a signal that is constantly present such as CW (Constant Wave) in the amplitude spectrum of the same frequency is determined as noise, and a steady component, that is, a DC (Direct Current) component is obtained by differentiation. Can be suppressed.
  • the cut-off frequency (third cut-off frequency) of the high-pass filter becomes smaller, the vicinity of DC is suppressed, so that a more stationary signal can be suppressed (suppressed).
  • a frequency lower than the cutoff frequency (first cutoff frequency, second cutoff frequency) set in the first HPF unit 11 and the second HPF unit 21 is a cutoff frequency (first cutoff frequency). 3 cut-off frequency).
  • the cut-off frequency can be set as a parameter as shown in FIG.
  • the signal whose steady component is suppressed is weighted by the third gain unit 33 and output to the second addition unit 35.
  • the fourth gain unit 34 receives the amplitude spectrum signal (fourth amplitude spectrum signal) synthesized (generated) by the first addition unit 40.
  • the fourth gain unit 34 weights the input amplitude spectrum signal and then outputs a signal to the second addition unit 35.
  • the second addition unit 35 performs a process of combining the amplitude spectrum signal weighted by the third gain unit 33 and the amplitude spectrum signal weighted by the fourth gain unit 34. Since the signal synthesized in the second addition unit 35 is weighted by the third gain unit 33 and the fourth gain unit 34, the signal whose noise reduction amount has been adjusted (fifth amplitude spectrum signal) It becomes.
  • the weighting amount (third weighting amount) of the third gain unit 33 and the weighting amount of the fourth gain unit 34 can be set as parameters as shown in FIG.
  • a value from 0 to 1 is set as the weighting amount (third weighting amount) of the third gain unit 33, and the weighting amount of the fourth gain unit 34 is set from the value 1 to the third gain unit 33.
  • a value obtained by subtracting the set weighting amount (third weighting amount) is set.
  • the weighting amount of the third gain unit 33 is set to 0.5
  • the fourth limiter unit 41 has a role of performing adjustment so that the amplitude of the signal (fifth amplitude spectrum signal) subjected to the synthesis process in the second addition unit 35 does not become a negative value. More specifically, the attack sound is adjusted by the attack sound control unit 10, the reverberation is adjusted by the reverberation control unit 20, and the amplitude of the signal whose noise reduction amount is adjusted by the noise control unit 30 is It has a role to adjust so that it does not become a negative value. The fourth limiter unit 41 limits the minus side amplitude and sets it to zero.
  • the acoustic processing performed by the attack sound control unit 10, the afterglow control unit 20, the first addition unit 40, the noise control unit 30, and the fourth limiter unit 41 described above is performed for each amplitude spectrum. Accordingly, as shown in FIG. 6, the frequency spectrum signal is divided into the attack sound control unit 10, the reverberation control unit 20, the first addition unit 40, the noise control unit 30, and the noise control unit for each frequency (f1, f2,... Fn).
  • the 4 limiter unit 41 adjusts the attack sound, adjusts the reverberation, adjusts the amount of noise reduction, and adjusts the amplitude, and outputs them for each frequency (f1 ′, f2 ′,... Fn ′). become.
  • the Fourier transform length N is 1,024, the number fn for each frequency is 1,024, and 1,024 frequency spectrum signals are processed.
  • the frequency spectrum signal whose amplitude has been adjusted in the fourth limiter unit 41 is output to the IFFT unit 4.
  • the IFFT unit 4 converts the acquired signal into a frequency spectrum of a real number and an imaginary number based on the amplitude spectrum signal filtered by the frequency spectrum domain filter unit 3 and the phase spectrum signal output from the FFT unit 2. . After converting the acquired signal into a frequency spectrum, the IFFT unit 4 performs weighting using a window function, and performs signal conversion from the frequency domain to the time domain by performing short-time inverse Fourier transform processing and overlap addition. The audio signal thus converted from the frequency domain to the time domain is output by a speaker (not shown). The audio signal subjected to the sound processing by the sound signal processing device 1 is controlled by the attack sound included in the sound source such as a musical instrument sound and the subsequent reverberation, and the signal is further improved in the S / N ratio. Will be output.
  • FIG. 7A shows the values of weighting amounts (first weighting amount and second weighting amount) set by the first gain unit 13 of the attack sound control unit 10 and the second gain unit 24 of the reverberation control unit 20; It is the figure which showed the relationship of the increase amount and reduction amount corresponding to weighting amount.
  • the weighting amount set by the first gain unit 13 and the second gain unit 24 is any value between ⁇ 1 and 1.
  • the first gain unit 13 is proportional to the amount of increase in the weighting amount value.
  • the attack sound is enhanced
  • the second gain unit 24 enhances the reverberation.
  • the first gain is set so as to be proportional to the weighting amount reduction amount.
  • the attack sound is reduced by the unit 13, and the reverberation is reduced by the second gain unit 24.
  • FIG. 7B shows a cutoff frequency (filter cutoff frequency: first cutoff frequency) set in the first HPF unit 11 of the attack sound control unit 10 and the second HPF unit 21 of the reverberation control unit 20. It is the figure which showed the relationship between the value and the control time of the attack sound or lingering sound which changes according to the value of the set cutoff frequency.
  • the cutoff frequency range is 0.5 Hz to 10 Hz (control time: 2 seconds to 0.1 seconds).
  • FIG. 8A is a diagram showing the relationship between the weighting amount (third weighting amount) and the noise reduction amount in the third gain unit 33 of the noise control unit 30.
  • FIG. 8A As described above, in the third HPF unit 31 of the noise control unit 30, in order to suppress the steady component, that is, the DC component, a very small value such as 0.031 Hz (control time: 32 seconds) is set to the cutoff frequency (filter Cut-off frequency: third cut-off frequency).
  • the amount of noise reduced by the noise control unit 30 varies in proportion to the value of the weighting amount set by the third gain unit 33.
  • the value of the weighting amount in the third gain unit 33 is set to a value of 0 or more and 1 or less, and the noise reduction amount is reduced from a small amount corresponding to the change of the weighting amount value from 0 to 1. Change to large quantities.
  • the value of the weighting amount of the fourth gain unit 34 is set to a value obtained by subtracting the weighting amount (value of 0 or more and 1 or less) set by the third gain unit 33 from the value 1.
  • the attack sound and the reverberation are enhanced or reduced, respectively. can do.
  • the cut-off frequency first cut-off frequency, second cut-off frequency
  • the control time of the attack sound and the afterglow is adjusted. It can be performed.
  • the amount of noise reduction can be adjusted by adjusting the value of the weighting amount (such as the third weighting amount) set in the third gain unit 33 and the fourth gain unit 34.
  • the sampling frequency of the input audio signal is 44.1 kHz.
  • the input audio signal is composed of an attack sound and a reverberation, and the frequency component is 1 kHz.
  • the Fourier transform length N of the FFT unit 2 is 4,096 sample
  • the overlap length M is 3,840 sample which is 15/16 times the Fourier transform length N
  • the window function is Blackman
  • the sampling frequency of the amplitude spectrum is Each of them is set to 172 Hz (44,100 / (4,096-3,840) ⁇ 172).
  • first HPF unit 11, the second HPF unit 21, and the third HPF unit 31 are first-order Butterworth high-pass filters, and the cutoff frequency is 2.5 Hz for the first HPF unit 11, 1.25 Hz for the second HPF unit 21,
  • the 3HPF unit 31 is set to 0.031 Hz.
  • the weighting amounts of the first gain unit 13, the second gain unit 24, the third gain unit 33, and the fourth gain unit 34 are set to -1, 0, or 1 individually for each gain unit.
  • FIG. 9A is a diagram illustrating an output signal when only the first HPF unit 11 and the first limiter unit 12 of the attack sound control unit 10 are operated in the frequency spectrum domain filter unit 3.
  • the cut-off frequency of the first HPF unit 11 is 2.5 Hz.
  • the rising component of the input audio signal that is, the attack sound (attack sound) Component
  • the first HPF unit 11 and the first limiter unit 12 of the attack sound control unit 10 are operated, and the audio signal in which the attack sound is emphasized by setting the weighting amount value of the first gain unit 13 to 1, and the frequency A signal obtained by synthesizing the audio signal (the signal shown in FIG. 8B) input to the spectral domain filter unit 3 is shown by a solid line in FIG. 9B.
  • a signal indicated by a broken line indicates the state of the input audio signal shown in FIG.
  • the synthesized signal is in a state in which the attack sound (attack component) is enhanced with respect to the audio signal shown in FIG. 8B.
  • the first HPF unit 11 and the first limiter unit 12 of the attack sound control unit 10 are operated, and the weight value of the first gain unit 13 is set to ⁇ 1, thereby reducing the attack sound.
  • a signal obtained by synthesizing the audio signal (the signal shown in FIG. 8B) input to the frequency spectrum domain filter unit 3 is shown by a solid line in FIG.
  • a signal indicated by a broken line indicates the state of the input audio signal shown in FIG.
  • the synthesized signal is in a state in which the attack sound (attack component) is reduced with respect to the audio signal shown in FIG. 8B.
  • a synthesized signal when the cutoff frequency of the first HPF unit 11 is changed from 2.5 Hz to 1.25 Hz with respect to the conditions shown in FIG. 9B is shown by a solid line in FIG. It shows with.
  • a signal indicated by a broken line indicates the state of the input audio signal shown in FIG. Since the control time is increased by changing the cut-off frequency from 2.5 Hz to 1.25 Hz (see FIG. 7B), the synthesized signal is changed to the audio signal shown in FIG. 8B.
  • the attack sound is enhanced, but also the attack time is increased.
  • FIG. 11A is a diagram showing an output signal when only the second HPF unit 21, the amplitude inverting unit 22, and the second limiter unit 23 of the reverberation control unit 20 are operated in the frequency spectrum domain filter unit 3. .
  • the cut-off frequency of the second HPF unit 21 is 2.5 Hz.
  • the amplitude inverting unit 22 and the second limiter unit 23 of the reverberation control unit 20 are operated, as shown in FIG. 11A, the falling component of the input audio signal, that is, A reverberation (a reverberation component) is detected.
  • the audio signal in which the attack sound is emphasized by the attack sound control unit 10 and the second HPF unit 21, the amplitude inverting unit 22 and the second limiter unit 23 of the reverberation control unit 20 are operated.
  • the weighting amount value of the second gain unit 24 is set to ⁇ 1
  • the signal obtained by synthesizing the signal is shown by a solid line in FIG.
  • a signal indicated by a broken line indicates the state of the input audio signal shown in FIG.
  • the synthesized signal shown by the solid line in FIG. 11B is compared with the input audio signal shown in FIG.
  • the attack sound is enhanced compared to FIG. 8B, but the reverberation is reduced. It will be in the state. Further, as shown by a solid line in FIG. 11B, the synthesized signal is in a state in which the reverberation (remanent component) is reduced as compared with the audio signal shown by the solid line in FIG. 9B.
  • the audio signal whose attack sound has been reduced by the attack sound control unit 10, the second HPF unit 21, the amplitude inverting unit 22, and the second limiter unit 23 of the reverberation control unit 20 is reduced by the attack sound control unit 10, the second HPF unit 21, the amplitude inverting unit 22, and the second limiter unit 23 of the reverberation control unit 20.
  • FIG. 12 A signal obtained by synthesizing the signal shown in FIG.
  • a signal indicated by a broken line indicates the state of the signal shown in FIG.
  • the synthesized signal shown in FIG. 12 When the synthesized signal shown in FIG. 12 is compared with the input audio signal shown in FIG. 8B, the attack sound is reduced as compared with FIG. 8B, but the reverberation is increased. Further, as shown by a solid line in FIG. 12, the synthesized signal is in a state in which the reverberation (remanent component) is increased as compared with the audio signal shown by the solid line in FIG.
  • FIG. 13A shows an attack sound control unit 10 for an input signal obtained by adding a stationary 1.2 kHz sine wave as noise to the input audio signal (the signal shown in FIG. 8B).
  • the state of the output signal when the cutoff frequency of the first HPF unit 11 is set to 2.5 Hz and the weighting amount of the first gain unit 13 is set to 1 is shown.
  • the signal shown in FIG. 13A is in a state in which the attack sound is enhanced because the attack sound control unit 10 performs the attack sound control process on the audio signal to which noise is added.
  • FIG. 13B sets the cutoff frequency of the third HPF unit 31 of the noise control unit 30 to 0.031 Hz and weights the third gain unit 33 with respect to the signal shown in FIG.
  • a signal obtained by performing noise control processing in the noise control unit 30 by setting the amount to 1 and setting the weighting amount of the fourth gain unit 34 to 0 is shown.
  • the attack sound is enhanced. It is possible to reduce only stationary noise while maintaining it.
  • the weighting amount of the first gain unit 13 of the attack sound control unit 10 is adjusted to increase or decrease the attack sound of the audio signal. It can be carried out. Furthermore, in the first HPF unit 11, the control time (enhancement time, reduction time) of the attack sound can be changed by adjusting the cutoff frequency. Therefore, it is possible to amplify the attack sound in accordance with the signal level and emphasize it to express a sharp expression as a whole in the output sound. Further, it is possible to improve the sound quality of the digital audio signal by controlling the attack sound that may be deteriorated in a general digital audio signal such as MP3.
  • the reverberation of the audio signal can be enhanced / reduced by adjusting the weighting amount of the second gain unit 24 of the reverberation control unit 20.
  • the second HPF unit 21 can change the control time (enhancement time, reduction time) of the reverberation by adjusting the cutoff frequency. For this reason, it is possible to emphasize or reduce the reverberation according to the listener's preference.
  • the noise reduction amount can be adjusted by adjusting the weighting amounts of the third gain unit 33 and the fourth gain unit 34 of the noise control unit 30.
  • the third HPF unit 31 can suppress the DC component of noise by adjusting the cutoff frequency. For this reason, it is possible to adjust the stationary noise included in the recording environment of the sound source and the sound source itself.
  • the attack sound control process, the reverberation control process, and the noise reduction process described above are performed based on a change amount for each amplitude spectrum in the frequency domain. For this reason, the detection state is not greatly influenced by the amplitude level of the sound source as in the case of identifying an attack sound using a threshold as in the prior art (there is no dependency on the amplitude level of the sound source). .
  • the sound rise time is slower than the attack time of the instrument sound, and the amount of change for each amplitude spectrum is also smaller for the sound.
  • the attack sound can be added only to the instrument sound. In this way, by enhancing only the attack sound of the instrument sound, it is possible to emphasize the sharpness of the instrument sound while maintaining the feeling of inflection of the sound.
  • the frequency band is set to a plurality of bands. They can be set separately.
  • the attack sound is increased and the reverberation is reduced, so that the drum and the like are powerful and responsive. Sound can be reproduced.
  • the noise control unit 30 performs noise control to slightly reduce the amount of noise, so that it is possible to output the sound component of a musical instrument sound or sound as a clear sound while maintaining a sense of presence. It becomes.
  • the attack sound included in the sound source such as a musical instrument sound and the subsequent reverberation
  • the stationary noise component of the recording environment and the sound source are included. Since stationary signal components can be adjusted, it is possible to deal with various listener preferences.
  • the acoustic signal processing device has been described in detail with reference to the acoustic signal processing device 1 as an example, but the acoustic signal processing device and the acoustic signal processing method according to the present invention are described in the above embodiments. It is not limited to the contents shown in. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims.
  • Noise control Unit 31 3rd HPF unit 32 (of noise control unit) 3rd limiter unit 33 (of noise control unit) 3rd gain unit 34 (of noise control unit) 4th gain unit 35 (of noise control unit) Second adder 40 (of noise control unit) ... first adder 41 ... fourth limiter unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

音響信号処理装置および音響信号処理方法
 本発明は、音響信号処理装置および音響信号処理方法に関し、より詳細には、入力されるオーディオ信号におけるアタック音や余韻の強調・低減処理や、ノイズ低減処理などを行うことが可能な音響信号処理装置および音響信号処理方法に関する。
 今日では、データの圧縮が行われたデジタル音声信号を用いて音楽の生成が行われることが多い。データ圧縮されたデジタル音声信号の1つとして、MP3(MPEG Audio Layer-3)がよく知られている。MP3は、デジタル技術によって音響データを扱うための圧縮技術の1つであり、今日では、携帯型音楽プレーヤーなどで多く用いられている。
 ところで、一般的なMP3などのデジタル音声信号では、伸長されたデジタル音声信号をそのままアナログ変換して出力するとアタック音(アタック成分)の劣化により、音質が損なわれてしまうという問題があった。このため、アタック音の信号出力を増幅させるデジタル信号処理装置が提案されている(例えば、特許文献1参照)。
 このデジタル信号処理装置では、帯域分割フィルタを介して抽出された所定周波数帯域の信号レベルと、予め設定されたスレッショルドレベルとを比較し、スレッショルド以上のデジタル信号を検出することによってアタック音を検出する。そして、デジタル信号処理装置は、検出されたアタック音を増幅し、増幅されたアタック音を帯域分割前のデジタル信号に合成することによって、アタック音を強調させる。
 このように、信号レベルに応じて、所定の周波数帯域に含まれるアタック音を増幅して強調することができるので、例えば、低域アタック音を増幅する場合には、ドラムなどの迫力ある音の躍動感を増加させることができる。また、高域アタック音を増幅する場合には、シンバルなどの音をより透明感のあるクリアな音にすることができる。
 このように、信号レベルに応じてアタック音を増幅して強調することにより、総じてメリハリのある表現を出力音に発現させることが可能となる。このため、アタック音の劣化が激しいMP3などの圧縮された音声信号の高音質化に高い効果を発揮することができる。
特開2007-36710号公報
 上述したデジタル信号処理装置では、音源に含まれるアタック音を、所定のスレッショルドに基づいて検出している。しかしながら、音源はあらゆる振幅レベルで収録されているので、スレッショルドだけで十分にアタック音を検出することが困難であった。
 また、楽器音と音声とが含まれている音源においては、双方が合成されて音源の振幅が示されるため、スレッショルドにより楽器音のアタック音と音声の信号レベルとを識別することが困難であり、楽器音のアタック音だけでなく音声信号まで増幅されてしまうおそれがあった。
 さらに、楽器音等は、波形の立ち上がり時のアタック音とその後に持続する余韻(余韻成分)によって形成されるが、上述したデジタル信号処理装置では、アタック音の制御のみを行うことを特徴としており、余韻において特に制御は行われていない。このため、アタック音の増幅によりメリハリのある出力音を実現することは可能であるが、メリハリ感のみが余韻に比べて強く強調されすぎてしまうおそれがあった。
 また、上述したデジタル信号処理装置では、所定の周波数帯域を一様に増幅する従来のイコライザなどの増幅方式に比べて、S/N比(信号とノイズの比)を下げずに出力音を強調することが可能である。しかしながら、音源の収録環境においてノイズが常に存在する場合、特に、アタック音の抽出帯域において定常的なノイズが含まれる場合には、ノイズが含まれたアタック音をブーストして合成してしまうおそれがあるので、S/N比が大きく低下するおそれがあった。
 さらに、音楽の聴取において、聴取者にとっての良好な音は嗜好によるものが大きい。このため、メリハリのある音を好む聴取者もいれば、メリハリのある音を耳障りと感じる聴取者も存在する。余韻においても余韻の多く含まれる音を好む聴取者もいれば、好まない聴取者も存在する。また、音源そのものに含まれる定常的な信号成分(響き)や音源の収録環境に含まれる定常的なノイズ成分を含めた音を、臨場感のある音として好む聴取者もいれば、クリアな音を好む聴取者も存在する。このため、上述したデジタル信号処理装置を用いて、単にアタック音の増幅によりメリハリのある音を実現するだけは、多様な聴取者の嗜好(要望)を必ずしも満たすことが容易ではないという問題があった。
 本発明は、上記問題に鑑みてなされたものであり、楽器音等の音源に含まれるアタック音と、その後に持続する余韻と、収録環境の定常的なノイズ成分や音源に含まれる定常的な信号成分とを調節することにより、聴取者の嗜好にあった出力音を作り出すことが可能な音響信号処理装置および音響信号処理方法を提供することを課題とする。
 本発明に係る音響信号処理装置は、入力されたオーディオ信号に対して、フーリエ変換長とオーバーラップ長との差分時間ずつ時間シフトしながら短時間フーリエ変換を行うことにより、差分時間ずつ時間が異なる複数の振幅スペクトルを求め、求められた各振幅スペクトルの周波数毎の時間変動を求めることにより、前記入力されたオーディオ信号を時間領域から周波数領域に変換して周波数スペクトル信号を求め、さらに、該周波数スペクトル信号に基づいて、第1振幅スペクトル信号と位相スペクトル信号とを生成するFFT部と、該FFT部により生成された前記第1振幅スペクトル信号のアタック成分を制御して第2振幅スペクトル信号を生成するアタック成分制御部と、前記FFT部により生成された前記第1振幅スペクトル信号の余韻成分を制御して第3振幅スペクトル信号を生成する余韻成分制御部と、前記FFT部により生成された前記第1振幅スペクトル信号と、前記アタック成分制御部により生成された前記第2振幅スペクトル信号と、前記余韻成分制御部により生成された前記第3振幅スペクトル信号とを合成して第4振幅スペクトル信号を生成する第1加算部と、該第1加算部により生成された前記第4振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて周波数スペクトル信号を求め、求められた該周波数スペクトル信号に短時間逆フーリエ変換処理とオーバーラップ加算とを行うことによって、周波数領域から時間領域に変換されたオーディオ信号を生成するIFFT部とを備え、前記アタック成分制御部は、予め設定された第1カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行う第1HPF部と、該第1HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号のアタック成分を検出する第1リミッタ部と、予め設定された第1重み付け量に基づいて、前記第1リミッタ部により検出された振幅スペクトル信号のアタック成分に対して重み付け処理を行う第1ゲイン部とを有し、前記余韻成分制御部は、予め設定された第2カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行う第2HPF部と、該第2HPF部においてハイパスフィルタ処理された振幅スペクトル信号に-1を乗算して振幅の反転を行う振幅反転部と、該振幅反転部により振幅の反転が行われた振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号の余韻成分を検出する第2リミッタ部と、予め設定された第2重み付け量に基づいて、前記第2リミッタ部により検出された振幅スペクトル信号の余韻成分に対して重み付け処理を行う第2ゲイン部とを有することを特徴とする。
 また、本発明に係る音響信号処理方法は、入力されたオーディオ信号を時間領域から周波数領域に変換して周波数スペクトル信号を求めて、第1振幅スペクトル信号と位相スペクトル信号とを生成するFFT部と、該FFT部により生成された前記第1振幅スペクトル信号のアタック成分を制御して第2振幅スペクトル信号を生成するアタック成分制御部と、前記FFT部により生成された前記第1振幅スペクトル信号の余韻成分を制御して第3振幅スペクトル信号を生成する余韻成分制御部と、前記FFT部により生成された前記第1振幅スペクトル信号と、前記アタック成分制御部により生成された前記第2振幅スペクトル信号と、前記余韻成分制御部により生成された前記第3振幅スペクトル信号とを合成して第4振幅スペクトル信号を生成する第1加算部と、該第1加算部により生成された前記第4振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数領域から時間領域に変換されたオーディオ信号を生成するIFFT部とを備え、前記アタック成分制御部は、第1HPF部と、第1リミッタ部と、第1ゲイン部とを有し、前記余韻成分制御部は、第2HPF部と、振幅反転部と、第2リミッタ部と、第2ゲイン部とを有し、前記入力されたオーディオ信号に対してアタック成分制御と余韻成分制御とを行う音響信号処理装置の音響信号処理方法であって、前記FFT部は、前記入力されたオーディオ信号に対して、フーリエ変換長とオーバーラップ長との差分時間ずつ時間シフトしながら短時間フーリエ変換を行うことにより、差分時間ずつ時間が異なる複数の振幅スペクトルを求め、求められた各振幅スペクトルの周波数毎の時間変動を求めることにより前記周波数スペクトル信号を求め、さらに、当該周波数スペクトル信号に基づいて、前記第1振幅スペクトル信号と前記位相スペクトル信号とを生成し、前記アタック成分制御部において、前記第1HPF部は、予め設定された第1カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行い、前記第1リミッタ部は、前記第1HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号のアタック成分を検出し、前記第1ゲイン部は、予め設定された第1重み付け量に基づいて、前記第1リミッタ部により検出された振幅スペクトル信号のアタック成分に対して重み付け処理を行い、前記余韻成分制御部において、前記第2HPF部は、予め設定された第2カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行い、前記振幅反転部は、前記第2HPF部においてハイパスフィルタ処理された振幅スペクトル信号に-1を乗算して振幅の反転を行い、前記第2リミッタ部は、前記振幅反転部により振幅の反転が行われた振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号の余韻成分を検出し、前記第2ゲイン部は、予め設定された第2重み付け量に基づいて、前記第2リミッタ部により検出された振幅スペクトル信号の余韻成分に対して重み付け処理を行い、前記第1加算部は、前記第1振幅スペクトル信号と、前記第1ゲイン部によりアタック成分に対して重み付け処理が行われた前記第2振幅スペクトル信号と、前記第2ゲイン部により余韻成分に対して重み付け処理が行われた前記第3振幅スペクトル信号とを合成して前記第4振幅スペクトル信号を生成し、前記IFFT部は、前記第4振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数スペクトル信号を求め、求められた該周波数スペクトル信号に短時間逆フーリエ変換処理とオーバーラップ加算とを行うことによって、周波数領域から時間領域に変換された前記オーディオ信号を生成することを特徴とする。
 本発明に係る音響信号処理装置および音響信号処理方法では、アタック成分制御部における第1ゲイン部の第1重み付け量を調整することにより、オーディオ信号のアタック成分(アタック音)の増強・低減を行うことができる。さらに、第1HPF部において、第1カットオフ周波数を調整することにより、アタック成分の制御時間(増強時間、低減時間)を変化させることができる。このため、アタック成分を信号レベルに応じて増幅して強調することにより、総じてメリハリのある表現を出力音に発現させることが可能となる。また、一般的なMP3などのデジタル音声信号において劣化するおそれのあるアタック成分を制御することにより、デジタル音声信号の音質向上を図ることが可能となる。
 また、本発明に係る音響信号処理装置および音響信号処理方法では、余韻成分制御部における第2ゲイン部の第2重み付け量を調整することにより、オーディオ信号の余韻成分(余韻)の増強・低減を行うことができる。さらに、第2HPF部において、第2カットオフ周波数を調整することにより、余韻の制御時間(増強時間、低減時間)を変化させることができる。このため、聴取者の好みに応じ、余韻を強調させたり低減させたりすることが可能となる。
 さらに、アタック成分制御部によるアタック成分の制御処理および余韻成分制御部による余韻成分の制御処理は、周波数領域の振幅スペクトル毎の変化量に基づいて行われる。このため、従来技術のようなスレッショルドを用いてアタック音などを識別する場合のように、音源の振幅レベルによって検出状態が大きく左右されてしまうことがない。
 また、アタック成分制御部および余韻成分制御部におけるカットオフ周波数(第1カットオフ周波数および第2カットオフ周波数)の設定や重み付け量(第1重み付け量および第2重み付け量)の設定は、振幅スペクトル毎に個別に設定することもできるので、周波数帯域を複数の帯域に分けて、それぞれ設定することも可能である。
 例えば、入力されるオーディオ信号を低域、中域、高域の3つの帯域に分ける場合、低域では、アタック成分を増強して余韻を低減することで、ドラム等の迫力と応答性のある音を再現することができる。中域では余韻成分を増強して音声の響きを強調し、高域ではアタック成分を増強することで、シンバルなどの音がより透明感のあるクリアな音にすることが可能となる。
 また、上述した音響信号処理装置は、前記第1加算部により生成された前記第4振幅スペクトル信号のノイズ制御を行って第5振幅スペクトル信号を生成するノイズ制御部を備え、前記IFFT部は、前記ノイズ制御部により生成された前記第5振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数領域から時間領域に変換された前記オーディオ信号を生成し、前記ノイズ制御部は、予め設定された第3カットオフ周波数に基づいて、前記第1加算部により生成された前記第4振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行う第3HPF部と、該第3HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定する第3リミッタ部と、予め設定された0以上1以下の値からなる第3重み付け量に基づいて、前記第3リミッタ部によりマイナス側の振幅が制限された振幅スペクトル信号の重み付け処理を行う第3ゲイン部と、値1から前記第3重み付け量の値を減じた重み付け量に基づいて、前記第1加算部において生成された前記第4振幅スペクトル信号の重み付け処理を行う第4ゲイン部と、前記第3ゲイン部により重み付け処理が行われた振幅スペクトル信号と、前記第4ゲイン部により重み付け処理が行われた振幅スペクトル信号とを合成して前記第5振幅スペクトル信号を生成する第2加算部とを有するものであってもよい。
 さらに、上述した音響信号処理方法は、前記第1加算部により生成された前記第4振幅スペクトル信号のノイズ制御を行って第5振幅スペクトル信号を生成するノイズ制御部を備え、前記ノイズ制御部は、第3HPF部と、第3リミッタ部と、第3ゲイン部と、第4ゲイン部と、第2加算部とを有し、前記IFFT部は、前記ノイズ制御部により生成された前記第5振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数領域から時間領域に変換された前記オーディオ信号を生成し、前記ノイズ制御部において、前記第3HPF部は、予め設定された第3カットオフ周波数に基づいて、前記第1加算部により生成された前記第4振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行い、前記第3リミッタ部は、前記第3HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定し、前記第3ゲイン部は、予め設定された0以上1以下の値からなる第3重み付け量に基づいて、前記第3リミッタ部によりマイナス側の振幅が制限された振幅スペクトル信号の重み付け処理を行い、前記第4ゲイン部は、値1から前記第3重み付け量の値を減じた重み付け量に基づいて、前記第1加算部において生成された前記第4振幅スペクトル信号の重み付け処理を行い、前記第2加算部は、前記第3ゲイン部により重み付け処理が行われた振幅スペクトル信号と、前記第4ゲイン部により重み付け処理が行われた振幅スペクトル信号とを合成して前記第5振幅スペクトル信号を生成するものであってもよい。
 本発明に係る音響信号処理装置および音響信号処理方法では、ノイズ制御部において第3ゲイン部および第4ゲイン部の重み付け量を調整することにより、ノイズ低減量の調整を行うことができる。さらに、第3HPF部において、第3カットオフ周波数を調整することにより、ノイズのDC成分を抑圧(抑制)することができる。このため、音源の収録環境や音源そのものに含まれる定常的なノイズを調節することが可能となる。
 また、ノイズ制御部によるノイズ低減処理は、周波数領域の振幅スペクトル毎の変化量に基づいて行われるため、従来技術のようなスレッショルドを用いてアタック音などを識別する場合のように、音源の振幅レベルによって検出状態が大きく左右されてしまうことがない。
 さらに、音源そのものに含まれる定常的な信号成分や音源の収録環境に含まれる定常的なノイズ成分が含まれるオーディオ信号を再生した場合は、ノイズ等が収録環境の臨場感となって聴取される場合があるが、その一方で、楽器音や音声の鮮明感が低下してしまう傾向がある。この場合において、本発明に係る音響信号処理装置および音響信号処理方法を用いることによって、ノイズ制御部でノイズ制御を行ってノイズ量の低減調節を行うことができるので、臨場感をある程度維持したまま、楽器音や音声の音響成分をクリアな音で出力することが可能となる。
 本発明に係る音響信号処理装置および音響信号処理方法では、楽器音等の音源に含まれるアタック成分(アタック音)とその後に持続する余韻成分(余韻)、収録環境の定常的なノイズ成分や音源に含まれる定常的な信号成分を調節することができるので、多様な聴取者の嗜好に対応することが可能となる。
実施の形態に係る音響信号処理装置の概略構成を示したブロック図である。 実施の形態に係るFFT部へ入力されるオーディオ信号と、このオーディオ信号に対して短時間フーリエ変換処理を行う場合のフーリエ変換長Nとオーバーラップ長Mとを示した図である。 実施の形態に係るFFT部における時間シフト毎の振幅スペクトルを示した図である。 実施の形態に係るFFT部における振幅スペクトルの時間変動を示した図である。 実施の形態に係る周波数スペクトル領域フィルタ部の概略構成を示したブロック図である。 実施の形態に係る音響信号処理装置の処理が、周波数毎に実行される状態を説明するための図である。 (a)は、第1ゲイン部および第2ゲイン部で設定される重み付け量に対応する増強量・低減量の関係を示した図である。(b)は、第1HPF部および第2HPF部において設定されるカットオフ周波数と、設定されたカットオフ周波数に応じて変化するアタック音または余韻の制御時間との関係を示した図である。 (a)は、ノイズ制御部の第3ゲイン部における重み付け量とノイズ低減量との関係を示した図である。(b)は、音響信号処理に用いられる入力されたオーディオ信号の信号状態の一例を示した図である。 (a)は、アタック音制御部の第1HPF部と第1リミッタ部のみを動作させたときの出力信号を示した図である。(b)は、第1HPF部と第1リミッタ部を動作させ、第1ゲイン部の重み付け量の値を1に設定したオーディオ信号と周波数スペクトル領域フィルタ部に入力されたオーディオ信号とを合成した信号を示した図である。 (a)は、アタック音制御部の第1HPF部と第1リミッタ部を動作させ、第1ゲイン部の重み付け量の値を-1に設定したオーディオ信号と、周波数スペクトル領域フィルタ部に入力されたオーディオ信号とを合成した信号を示した図である。(b)は、図9(b)に示す信号の設定条件おいて、第1HPF部のカットオフ周波数を2.5Hzから1.25Hzへと変更した場合の合成された信号を示した図である。 (a)は、余韻制御部の第2HPF部、振幅反転部および第2リミッタ部のみを動作させたときの出力信号を示した図である。(b)は、図9(b)に示す信号と、第2HPF部、振幅反転部および第2リミッタ部を動作させ、第2ゲイン部の重み付け量の値を-1に設定したオーディオ信号と、周波数スペクトル領域フィルタ部に入力されたオーディオ信号とを合成した信号を示した図である。 アタック音制御部でアタック音の低減が行われた図10(a)に示すオーディオ信号と、余韻制御部において第2HPF部、振幅反転部および第2リミッタ部を動作させ、第2ゲイン部の重み付け量の値を1に設定したオーディオ信号と、周波数スペクトル領域フィルタ部に入力されたオーディオ信号とを合成した信号を示した図である。 (a)は、入力されたオーディオ信号にノイズとして定常性のある1.2kHzの正弦波を加えた入力信号を示した図である。(b)は、ノイズ制御部で(a)に示す信号に対してノイズ制御処理を行った信号を示した図である。
 以下、本発明に係る音響信号処理装置の一例を示して、詳細に説明を行う。図1は、音響信号処理装置の概略構成を示したブロック図である。音響信号処理装置1は、図1に示すように、FFT(Fast Fourier Transform:高速フーリエ変換)部2と、周波数スペクトル領域フィルタ部3と、IFFT(Inverse Fast Fourier Transform:逆高速フーリエ変換)部4とを有している。図示を省略したオーディオ信号再生装置によって再生されたオーディオ信号は、音響信号処理装置1のFFT部2へと入力され、音響信号処理装置1において、音響処理が行われた信号は、IFFT部4より出力されて、図示を省略したスピーカより出力される。
 [FFT部]
 FFT部2は、入力されたオーディオ信号に対して、オーバーラップ処理と窓関数により重み付けを行った後、短時間フーリエ変換処理により、時間領域から周波数領域に変換して、実数と虚数の周波数スペクトルを求める。また、FFT部2は、求められた周波数スペクトルを振幅スペクトル信号(第1振幅スペクトル信号)と位相スペクトル信号に変換する。FFT部2は、振幅スペクトル信号(第1振幅スペクトル信号)を、周波数スペクトル領域フィルタ部3に出力し、位相スペクトル信号をIFFT部4に出力する。
 図2は、入力されるオーディオ信号と、このオーディオ信号に対して短時間フーリエ変換処理を行う場合のフーリエ変換長Nとオーバーラップ長Mとを示した図である。FFT部2は、図2に示すように、フーリエ変換長Nとオーバーラップ長Mとの差分時間ずつ時間シフトしながら短時間フーリエ変換を行う。具体的には、図2に示すように、フーリエ変換長Nとオーバーラップ長Mとの差分時間ずつ時間をシフト(時間t1,t2,t3,t4,t5, ・・・・・)したtn(n=1,2,・・・n)個の周波数スペクトルを求める。
 図3は、時間シフト毎の振幅スペクトルを示した図である。具体的に、図3には、時間t1の振幅スペクトルと、時間t2の振幅スペクトルと、時間t3の振幅スペクトルとが示されており、周波数毎(f1,f2,f3,f4,f5,f6,f7,f8,・・・,fn-1,fn)の振幅が示されている。音楽等の非定常的な信号がオーディオ信号としてFFT部2に入力された場合には、図3に示すように、時間シフト毎にそれぞれの振幅スペクトルが変動することになる。フーリエ変換長Nの場合には、振幅スペクトルの総数はN個となる。
 図4は、振幅スペクトルの時間変動を示した図である。具体的に、図4には、周波数f1の振幅スペクトルの時間変動と、周波数f2の振幅スペクトルの時間変動と、周波数f3の振幅スペクトルの時間変動とが示されており、時間変動毎(t1,t2,t3,t4,t5,・・・,tk)の振幅が示されている。時間のシフト間隔は、周波数スペクトルのサンプリング周波数となる。
 [周波数スペクトル領域フィルタ部]
 図5は、周波数スペクトル領域フィルタ部3の概略構成を示したブロック図である。周波数スペクトル領域フィルタ部3は、図5に示すように、アタック音制御部(アタック成分制御部)10と、余韻制御部(余韻成分制御部)20と、ノイズ制御部30と、第1加算部40と、第4リミッタ部41とを有している。
 FFT部2から周波数スペクトル領域フィルタ部3に向けて出力された振幅スペクトル信号(第1振幅スペクトル信号)の一部は、アタック音制御部10と、余韻制御部20とにそれぞれ入力される。アタック音制御部10および余韻制御部20において処理された各振幅スペクトル信号(第2振幅スペクトル信号、第3振幅スペクトル信号)は、第1加算部40へそれぞれ出力される。また、FFT部2から周波数スペクトル領域フィルタ部3へ出力された振幅スペクトル信号(第1振幅スペクトル信号)の残りは、直接に第1加算部40へと出力される。
 ここで、周波数スペクトル領域フィルタ部3は、FFT部2から入力されたオーディオ信号(第1振幅スペクトル信号)を振幅スペクトル毎に、フィルタ処理や振幅制限処理、振幅重み付け処理を行うものであり、入力されたオーディオ信号の位相スペクトルについては、図1に示すように、処理を行わない。
 [アタック音制御部]
 アタック音制御部10は、第1HPF(High-pass filter:ハイパスフィルタ)部11と、第1リミッタ部12と、第1ゲイン部13とを有している。
 第1HPF部11は、入力された振幅スペクトル信号(第1振幅スペクトル信号)に対して、スペクトル毎にハイパスフィルタ処理、すなわち微分処理を行う。第1リミッタ部12は、ハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して、0に設定する。このようにマイナス側の振幅を0に設定することによって、スペクトル毎の信号の立ち上がり成分、すなわちアタック成分(アタック音)を検出することが可能となる。
 なお、第1HPF部11において設定されるカットオフ周波数(第1カットオフ周波数)の値が大きくなるほど、アタック音の制御時間は短くなり、小さくなると制御時間が長くなる。カットオフ周波数は、図1に示すようにパラメータとして設定することが可能となっている。
 第1ゲイン部13は、第1リミッタ部12により検出された振幅スペクトル信号のアタック成分に対して重み付け(乗算)を行う。第1ゲイン部13により重み付けが行われた信号(第2振幅スペクトル信号)は、第1加算部40へと出力される。第1加算部40において、もとの振幅スペクトル信号(アタック音制御部10および余韻制御部20において音響処理されていない振幅スペクトル信号:第1振幅スペクトル信号)に対して、アタック音制御部10でアタック成分の音響処理が行われた振幅スペクトル信号(第2振幅スペクトル信号)が合成されることによって、重み付け量(第1重み付け量)がプラスの値の場合には、もとの振幅スペクトル信号(第1振幅スペクトル信号)に対してアタック音の増強が行われ、マイナスの値の場合にはアタック音の低減が行われる。
 さらに、重み付け量のプラスまたはマイナスの値が大きくなるほど、アタック音の増強または低減の度合いが大きくなる。この重み付け量(第1重み付け量)は、図1に示すようにパラメータとして設定することが可能となっている。本実施の形態では、後述するように-1以上1以下の値が設定される。
 [余韻制御部]
 余韻制御部20は、第2HPF部21と、振幅反転部22と、第2リミッタ部23と、第2ゲイン部24とを有している。
 第2HPF部21は、入力された振幅スペクトル信号(第1振幅スペクトル信号)に対して、スペクトル毎にハイパスフィルタ処理、すなわち微分処理を行う。振幅反転部22は、第2HPF部21においてハイパスフィルタ処理された振幅スペクトル信号に-1を乗算して、振幅の反転を行う。
 第2リミッタ部23は、振幅の反転が行われた振幅スペクトル信号のマイナス側の振幅を制限して、0に設定する。このようにマイナス側の振幅を0に設定することによって、スペクトル毎の信号の立ち下がり成分、すなわち余韻成分を検出することが可能となる。
 なお、第2HPF部21において設定されるカットオフ周波数(第2カットオフ周波数)の値が大きくなるほど、余韻の制御時間は短くなり、小さくなると制御時間が長くなる。カットオフ周波数は、図1に示すようにパラメータとして設定することが可能となっている。
 第2ゲイン部24は、第2リミッタ部23により検出された振幅スペクトル信号の余韻成分に対して重み付け(乗算)を行う。第2ゲイン部24により重み付けが行われた信号(第3振幅スペクトル信号)は、第1加算部40へと出力される。第1加算部40において、もとの振幅スペクトル信号(アタック音制御部10および余韻制御部20において音響処理されていない振幅スペクトル信号:第1振幅スペクトル信号)に対して、余韻制御部20で余韻成分の音響処理が行われた振幅スペクトル信号(第3振幅スペクトル信号)が合成されることによって、重み付け量(第2重み付け量)がプラスの値の場合にはもとの振幅スペクトル信号(第1振幅スペクトル信号)に対して余韻の増強が行われ、マイナスの値の場合には余韻の低減が行われる。
 さらに、重み付け量のプラスまたはマイナスの値が大きくなるほど、余韻の増強または低減の度合いが大きくなる。この重み付け量(第2重み付け量)は、図1に示すようにパラメータとして設定することが可能となっている。本実施の形態では、後述するように-1以上1以下の値が設定される。
 [第1加算部]
 第1加算部40は、アタック音制御部10においてアタック音に対する音響処理が行われた振幅スペクトル信号(第2振幅スペクトル信号)と、余韻制御部20において余韻に対する音響処理が行われた振幅スペクトル信号(第3振幅スペクトル信号)と、FFT部2より入力されたもとの振幅スペクトル信号(第1振幅スペクトル信号)とを合成する役割を有している。第1加算部40において合成された振幅スペクトル信号(第4振幅スペクトル信号)は、もとの振幅スペクトル信号(第1振幅スペクトル信号)に対して、アタック音および余韻の増強あるいは低減がなされた状態となって、ノイズ制御部30へ出力される。
 [ノイズ制御部]
 ノイズ制御部30は、S/N比を向上させる役割を有している。ノイズ制御部30は、第3HPF部31と、第3リミッタ部32と、第3ゲイン部33と、第4ゲイン部34と、第2加算部35とを有している。第1加算部40において合成された振幅スペクトル信号(第4振幅スペクトル信号)は、第3HPF部31と第4ゲイン部34とにそれぞれ出力される。
 第3HPF部31は、第1加算部40において合成(生成)された振幅スペクトル信号(第4振幅スペクトル信号)に対して、スペクトル毎にハイパスフィルタ処理、すなわち微分処理を行う。第3リミッタ部32は、ハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して、0に設定する。
 第3HPF部31および第3リミッタ部32によって、同一周波数の振幅スペクトルにおいて、CW(Constant Wave)等の定常的に存在する信号をノイズと判断し、微分処理により定常成分すなわちDC(Direct Current)成分を抑圧することが可能となる。一般に、ハイパスフィルタのカットオフ周波数(第3カットオフ周波数)が小さくなるほど、DC近傍を抑圧することになるため、より定常性のある信号を抑圧(抑制)することが可能となる。
 第3HPF部31では、後述するように、第1HPF部11および第2HPF部21において設定されるカットオフ周波数(第1カットオフ周波数、第2カットオフ周波数)よりも低い周波数がカットオフ周波数(第3カットオフ周波数)として設定される。カットオフ周波数は、図1に示すようにパラメータとして設定することが可能となっている。
 定常成分を抑圧された信号は、第3ゲイン部33で重み付けを行い、第2加算部35へ出力される。一方で、第4ゲイン部34には、第3HPF部31とは別に、第1加算部40において合成(生成)された振幅スペクトル信号(第4振幅スペクトル信号)が入力される。第4ゲイン部34では、入力された振幅スペクトル信号に対して重み付けを行った後に、第2加算部35へ信号を出力する。
 第2加算部35は、第3ゲイン部33において重み付けされた振幅スペクトル信号と、第4ゲイン部34において重み付けされた振幅スペクトル信号とを合成する処理を行う。第2加算部35において合成された信号は、第3ゲイン部33と第4ゲイン部34とで重み付け処理がされているので、ノイズ低減量の調整が行われた信号(第5振幅スペクトル信号)となる。
 第3ゲイン部33の重み付け量(第3重み付け量)と、第4ゲイン部34の重み付け量とを、図1に示すようにパラメータとして設定することが可能となっている。本実施の形態では、第3ゲイン部33の重み付け量(第3重み付け量)として0以上1以下の値が設定され、第4ゲイン部34の重み付け量として、値1から第3ゲイン部33で設定される重み付け量(第3重み付け量)を減算した値が設定される。
 S/N比を大きく向上させる場合には、例えば、第3ゲイン部33の重み付け量を1に設定し、第4ゲイン部34の重み付け量を0(1-1=0)に設定する。また、S/N比をやや向上させる場合には、例えば、第3ゲイン部33の重み付け量を0.5に設定し、第4ゲイン部34の重み付け量を0.5(1-0.5=0.5)に設定する。
 [第4リミッタ部]
 第4リミッタ部41は、第2加算部35において合成処理が行われた信号(第5振幅スペクトル信号)の振幅が、マイナスの値にならないように調整を行う役割を有している。より詳細には、アタック音制御部10によりアタック音の調整が行われ、余韻制御部20により余韻の調整が行われ、ノイズ制御部30によりノイズ低減量の調整が行われた信号の振幅が、マイナスの値にならないように調整を行う役割を有している。第4リミッタ部41は、マイナス側の振幅を制限して、0に設定する。
 上述したアタック音制御部10、余韻制御部20、第1加算部40、ノイズ制御部30および第4リミッタ部41による音響処理は、振幅スペクトル毎に行われる。従って、図6のように、周波数スペクトル信号が、周波数毎(f1,f2,・・・fn)に、アタック音制御部10、余韻制御部20、第1加算部40、ノイズ制御部30および第4リミッタ部41により、アタック音の調整、余韻の調整、ノイズ低減量の調整および振幅の調整がそれぞれになされて、周波数毎に出力される(f1',f2',・・・fn')ことになる。フーリエ変換長Nが1,024の場合には、周波数毎の数fnが1,024となり、1,024個の周波数スペクトル信号が処理されることになる。
 第4リミッタ部41において振幅調整が行われた周波数スペクトル信号は、IFFT部4へ出力される。
 [IFFT部]
 IFFT部4は、周波数スペクトル領域フィルタ部3においてフィルタ処理された振幅スペクトル信号と、FFT部2より出力される位相スペクトル信号とに基づいて、取得した信号を実数と虚数との周波数スペクトルに変換する。取得した信号を周波数スペクトルに変換した後、IFFT部4は、窓関数により重み付けを行い、短時間逆フーリエ変換処理とオーバーラップ加算とを行うことによって、周波数領域から時間領域に信号を変換する。このようにして周波数領域から時間領域へと変換されたオーディオ信号は、図示を省略したスピーカによって出力される。音響信号処理装置1により音響処理が行われたオーディオ信号は、楽器音等の音源に含まれるアタック音とその後に持続する余韻とが制御され、さらにS/N比が向上された信号として、スピーカより出力されることになる。
 [設定値調整]
 図7(a)は、アタック音制御部10の第1ゲイン部13および余韻制御部20の第2ゲイン部24で設定される重み付け量(第1重み付け量および第2重み付け量)の値と、重み付け量に対応する増強量・低減量の関係を示した図である。図7(a)に示すように、第1ゲイン部13および第2ゲイン部24で設定される重み付け量は、-1から1までの間のいずれかの値となる。図7(a)に示すように、重み付け量がプラスの場合(重み付け量の設定値が0より大きい場合)には、重み付け量の値の増加量に比例するようにして、第1ゲイン部13でアタック音の増強が行われ、第2ゲイン部24で余韻の増強が行われる。また、図7(a)に示すように、重み付け量がマイナスの場合(重み付け量の設定値が0より小さい場合)には、重み付け量の値の低減量に比例するようにして、第1ゲイン部13でアタック音の低減が行われ、第2ゲイン部24で余韻の低減が行われる。
 一方で、図7(b)は、アタック音制御部10の第1HPF部11および余韻制御部20の第2HPF部21において設定されるカットオフ周波数(フィルタカットオフ周波数:第1カットオフ周波数)の値と、設定されるカットオフ周波数の値に応じて変化するアタック音または余韻の制御時間との関係を示した図である。
 図7(b)に示すように、カットオフ周波数が大きくなるほど、アタック音の制御時間および余韻の制御時間が短くなり、小さくなるほど制御時間が長くなる。つまり、カットオフ周波数が大きくなるほど、アタック音・余韻が増強あるいは低減される時間が短くなり、カットオフ周波数が小さくなるほど、アタック音・余韻が増強あるいは低減される時間が長くなる。なお、カットオフ周波数の逆数がほぼ制御時間となる。本実施の形態では、カットオフ周波数の範囲を0.5Hz~10Hz(制御時間:2秒~0.1秒)とする。
 図8(a)は、ノイズ制御部30の第3ゲイン部33における、重み付け量(第3重み付け量)とノイズ低減量との関係を示した図である。ノイズ制御部30の第3HPF部31では、前述したように、定常成分すなわちDC成分を抑圧するため、0.031Hz(制御時間:32秒)のような、非常に小さい値がカットオフ周波数(フィルタカットオフ周波数:第3カットオフ周波数)として設定される。
 その後に、第3ゲイン部33において設定される重み付け量の値に比例するようにして、ノイズ制御部30において低減されるノイズの低減量が変動する。ここで、第3ゲイン部33における重み付け量の値は、0以上1以下の値が設定され、重み付け量の値が0から1へと変化するのに対応して、ノイズ低減量が小量から大量へと変化する。なお、第4ゲイン部34の重み付け量の値は、値1から第3ゲイン部33で設定される重み付け量(0以上1以下の値)を減算した値に設定される。
 このように、第1ゲイン部13および第2ゲイン部24において設定される重み付け量(第1重み付け量、第2重み付け量)の値を調整することにより、アタック音と余韻とをそれぞれ増強あるいは低減することができる。また、第1HPF部11と第2HPF部21とにおいて設定されるカットオフ周波数(第1カットオフ周波数、第2カットオフ周波数)の値を調整することにより、アタック音および余韻の制御時間の長短調整を行うことができる。さらに、第3ゲイン部33および第4ゲイン部34において設定される重み付け量(第3重み付け量など)の値を調整することにより、ノイズの低減量の調整を行うことができる。このように各重み付け量および各カットオフ周波数を適宜調整することによって、楽器音等の音源に含まれるアタック音とその後に持続する余韻、収録環境の定常的なノイズ成分や音源に含まれる定常的な信号成分を調節することができ、オーディオ信号を聴取者の嗜好に合うように調整することが可能となる。
 [音響信号処理例]
 次に、本実施の形態に係る音響信号処理装置1に対して、図8(b)に示すようなオーディオ信号が入力された場合に、周波数スペクトル領域フィルタ部3で、重み付け量やカットオフ周波数などのパラメータを調節したときの出力信号の一例について説明を行う。
 ここで、入力されるオーディオ信号のサンプリング周波数は、44.1kHzとする。また、入力されるオーディオ信号は、図8(b)に示すように、アタック音と余韻によって構成され、周波数成分は1kHzである。
 また、FFT部2のフーリエ変換長Nは、4,096sample、オーバーラップ長Mは、フーリエ変換長Nの15/16倍となる3,840sample、窓関数はブラックマン、振幅スペクトルのサンプリング周波数は、それぞれ172Hz(44,100/(4,096-3,840)≒172)とする。
 さらに、第1HPF部11、第2HPF部21および第3HPF部31は、一次のバタワースハイパスフィルタであり、カットオフ周波数は、第1HPF部11が2.5Hz、第2HPF部21が1.25Hz、第3HPF部31が0.031Hzとする。また、第1ゲイン部13、第2ゲイン部24、第3ゲイン部33および第4ゲイン部34の重み付け量は、-1,0,1のいずれかを、ゲイン部毎に個別に設定する。
 図9(a)は、周波数スペクトル領域フィルタ部3において、アタック音制御部10の第1HPF部11と第1リミッタ部12のみを動作させたときの出力信号を示した図である。ここで、第1HPF部11のカットオフ周波数は、2.5Hzである。
 アタック音制御部10の第1HPF部11と第1リミッタ部12のみを動作させた場合には、図9(a)に示すように、入力されたオーディオ信号の立ち上がり成分、すなわち、アタック音(アタック成分)が検出される。
 さらに、アタック音制御部10の第1HPF部11と第1リミッタ部12を動作させ、第1ゲイン部13の重み付け量の値を1に設定することによりアタック音が強調されたオーディオ信号と、周波数スペクトル領域フィルタ部3に入力されたオーディオ信号(図8(b)に示される信号)とを合成した信号を、図9(b)に実線で示す。図9(b)において、破線で示される信号は、図8(b)に示した入力されたオーディオ信号の状態を示している。図9(b)に実線で示すように、合成された信号は、図8(b)に示したオーディオ信号に対してアタック音(アタック成分)が増強された状態となる。
 一方で、アタック音制御部10の第1HPF部11と第1リミッタ部12を動作させ、第1ゲイン部13の重み付け量の値を-1に設定することによりアタック音が低減されたオーディオ信号と、周波数スペクトル領域フィルタ部3に入力されたオーディオ信号(図8(b)に示される信号)とを合成した信号を、図10(a)に実線で示す。図10(a)において、破線で示される信号は、図8(b)に示した入力されたオーディオ信号の状態を示している。図10(a)に実線で示すように、合成された信号は、図8(b)に示したオーディオ信号に対してアタック音(アタック成分)が低減された状態となる。
 また、図9(b)に示した条件に対して、第1HPF部11のカットオフ周波数を2.5Hzから1.25Hzへと変更した場合の合成された信号を、図10(b)に実線で示す。図10(b)において、破線で示される信号は、図8(b)に示した入力されたオーディオ信号の状態を示している。カットオフ周波数を2.5Hzから1.25Hzへと変更することにより、制御時間が大きくなるので(図7(b)参照)、合成された信号は、図8(b)に示したオーディオ信号に対して、アタック音が増強されているだけでなく、アタック時間も増大していることがわかる。
 図11(a)は、周波数スペクトル領域フィルタ部3において、余韻制御部20の第2HPF部21、振幅反転部22および第2リミッタ部23のみを動作させたときの出力信号を示した図である。ここで、第2HPF部21のカットオフ周波数は、2.5Hzである。
 余韻制御部20の第2HPF部21、振幅反転部22および第2リミッタ部23のみを動作させた場合には、図11(a)に示すように、入力されたオーディオ信号の立ち下がり成分、すなわち、余韻(余韻成分)が検出される。
 さらに、図9(b)に示したようにアタック音制御部10でアタック音が強調されたオーディオ信号と、余韻制御部20の第2HPF部21、振幅反転部22および第2リミッタ部23を動作させ、第2ゲイン部24の重み付け量の値を-1に設定することにより余韻の低減が行われるオーディオ信号と、周波数スペクトル領域フィルタ部3に入力されたオーディオ信号(図8(b)に示される信号)とを合成した信号を、図11(b)に実線で示す。図11(b)において、破線で示される信号は、図8(b)に示した入力されたオーディオ信号の状態を示している。図11(b)に実線で示す合成された信号を、図8(b)に示す入力されたオーディオ信号と比較すると、図8(b)に比べてアタック音が増強されるが、余韻は減少した状態となる。また、図11(b)に実線で示すように、合成された信号は、図9(b)に実線で示したオーディオ信号と比較して余韻(余韻成分)が低減された状態となる。
 さらに、図10(a)に示したようにアタック音制御部10でアタック音の低減が行われたオーディオ信号と、余韻制御部20の第2HPF部21、振幅反転部22および第2リミッタ部23を動作させ、第2ゲイン部24の重み付け量の値を1に設定することにより余韻の増強が行われたオーディオ信号と、周波数スペクトル領域フィルタ部3に入力されたオーディオ信号(図8(b)に示される信号)とを合成した信号を、図12に実線で示す。図12において、破線で示される信号は、図8(b)に示した信号の状態を示している。
 図12に示す合成された信号を、図8(b)に示す入力されたオーディオ信号と比較すると、図8(b)に比べてアタック音が低減されるが、余韻が増大した状態となる。また、図12に実線で示すように、合成された信号は、図10(a)に実線で示したオーディオ信号と比較して余韻(余韻成分)が増大された状態となる。
 図13(a)は、入力されたオーディオ信号(図8(b)に示す信号)にノイズとして定常性のある1.2kHzの正弦波を加えた入力信号に対して、アタック音制御部10の第1HPF部11のカットオフ周波数を2.5Hzに設定し、第1ゲイン部13の重み付け量を1に設定した場合の出力信号の状態を示している。図13(a)に示す信号は、ノイズが付加されたオーディオ信号に対して、アタック音制御部10でアタック音制御処理が行われるため、アタック音が増強された状態となる。
 一方で、図13(b)は、図13(a)に示す信号に対して、ノイズ制御部30の第3HPF部31のカットオフ周波数を0.031Hzに設定し、第3ゲイン部33の重み付け量を1、第4ゲイン部34の重み付け量を0に設定することにより、ノイズ制御部30でノイズ制御処理を行った信号を示している。図13(b)に示すように、第3HPF部31のカットオフ周波数を低い値(0.031Hz)に設定することにより、DC近傍を抑圧(抑制)することができるので、アタック音の増強を維持したまま定常性のあるノイズのみを低減することが可能となる。
 以上、説明したように、本実施の形態に係る音響信号処理装置1では、アタック音制御部10の第1ゲイン部13の重み付け量を調整することにより、オーディオ信号のアタック音の増強・低減を行うことができる。さらに、第1HPF部11において、カットオフ周波数を調整することにより、アタック音の制御時間(増強時間、低減時間)を変化させることができる。このため、アタック音を信号レベルに応じて増幅して強調することにより、総じてメリハリのある表現を出力音に発現させることが可能となる。また、一般的なMP3などのデジタル音声信号において劣化するおそれのあるアタック音の制御を行うことにより、デジタル音声信号の音質向上を図ることが可能となる。
 さらに、本実施の形態に係る音響信号処理装置1では、余韻制御部20の第2ゲイン部24の重み付け量を調整することにより、オーディオ信号の余韻の増強・低減を行うことができる。さらに、第2HPF部21において、カットオフ周波数を調整することにより、余韻の制御時間(増強時間、低減時間)を変化させることができる。このため、聴取者の好みに応じ、余韻を強調させたり低減させたりすることが可能となる。
 また、本実施の形態に係る音響信号処理装置1では、ノイズ制御部30の第3ゲイン部33および第4ゲイン部34の重み付け量を調整することにより、ノイズ低減量の調整を行うことができる。さらに、第3HPF部31において、カットオフ周波数を調整することにより、ノイズのDC成分を抑圧することができる。このため、音源の収録環境や音源そのものに含まれる定常的なノイズを調節することが可能となる。
 さらに、上述したアタック音制御処理、余韻制御処理およびノイズ低減処理は、周波数領域の振幅スペクトル毎の変化量に基づいて行われることを特徴とする。このため、従来技術のようなスレッショルドを用いてアタック音などを識別する場合のように、音源の振幅レベルによって検出状態が大きく左右されてしまうことがない(音源の振幅レベル依存性は存在しない)。
 例えば、楽器音と音声とが含まれているオーディオ信号においては、楽器音のアタック音の立ち上がり時間に対して、音声の立ち上がり時間が遅く、振幅スペクトル毎の変化量も音声の方が小さいため、アタック音制御部10における第1HPF部11のカットオフ周波数の設定により、楽器音のみにアタック音を付加することができる。このようにして楽器音のアタック音のみを増強することによって、音声の抑揚感を維持したまま楽器音のメリハリ感を強調することが可能となる。
 また、アタック音制御部10、余韻制御部20およびノイズ制御部30におけるカットオフ周波数の設定や重み付け量の設定は、振幅スペクトル毎に個別に設定することもできるので、周波数帯域を複数の帯域に分けて、それぞれ設定することも可能である。
 例えば、入力されるオーディオ信号を低域、中域、高域の3つの帯域に分ける場合、低域では、アタック音を増強して余韻を低減することで、ドラム等の迫力と応答性のある音を再現することができる。中域では余韻を増強して音声の響きを強調し、高域ではアタック音を増強することで、シンバルなどの音をより透明感のあるクリアな音にすることが可能となる。
 また、音源そのものに含まれる定常的な信号成分や音源の収録環境に含まれる定常的なノイズ成分が含まれるオーディオ信号を再生した場合は、ノイズ等が収録環境の臨場感となって聴取される場合があるが、その一方で、楽器音や音声の鮮明感が低下してしまう傾向がある。この場合には、ノイズ制御部30でノイズ制御を行ってノイズ量を僅かに低減させることにより、臨場感をある程度維持したまま、楽器音や音声の音響成分をクリアな音で出力することが可能となる。
 このように、本実施の形態に係る音響信号処理装置1を用いることにより、楽器音等の音源に含まれるアタック音とその後に持続する余韻、収録環境の定常的なノイズ成分や音源に含まれる定常的な信号成分を調節することができるので、多様な聴取者の嗜好に対応することができる。
 以上、本発明に係る音響信号処理装置について、音響信号処理装置1を一例として示して詳細に説明を行ったが、本発明に係る音響信号処理装置および音響信号処理方法は、上述した実施の形態に示した内容には限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例または修正例に想到しうることは明らかである。
1     …音響信号処理装置
2     …FFT部
3     …周波数スペクトル領域フィルタ部
4     …IFFT部
10   …アタック音制御部(アタック成分制御部)
11   …(アタック音制御部の)第1HPF部
12   …(アタック音制御部の)第1リミッタ部
13   …(アタック音制御部の)第1ゲイン部
20   …余韻制御部(余韻成分制御部)
21   …(余韻制御部の)第2HPF部
22   …(余韻制御部の)振幅反転部
23   …(余韻制御部の)第2リミッタ部
24   …(余韻制御部の)第2ゲイン部
30   …ノイズ制御部
31   …(ノイズ制御部の)第3HPF部
32   …(ノイズ制御部の)第3リミッタ部
33   …(ノイズ制御部の)第3ゲイン部
34   …(ノイズ制御部の)第4ゲイン部
35   …(ノイズ制御部の)第2加算部
40   …第1加算部
41   …第4リミッタ部

Claims (4)

  1.  入力されたオーディオ信号に対して、フーリエ変換長とオーバーラップ長との差分時間ずつ時間シフトしながら短時間フーリエ変換を行うことにより、差分時間ずつ時間が異なる複数の振幅スペクトルを求め、求められた各振幅スペクトルの周波数毎の時間変動を求めることにより、前記入力されたオーディオ信号を時間領域から周波数領域に変換して周波数スペクトル信号を求め、さらに、該周波数スペクトル信号に基づいて、第1振幅スペクトル信号と位相スペクトル信号とを生成するFFT部と、
     該FFT部により生成された前記第1振幅スペクトル信号のアタック成分を制御して第2振幅スペクトル信号を生成するアタック成分制御部と、
     前記FFT部により生成された前記第1振幅スペクトル信号の余韻成分を制御して第3振幅スペクトル信号を生成する余韻成分制御部と、
     前記FFT部により生成された前記第1振幅スペクトル信号と、前記アタック成分制御部により生成された前記第2振幅スペクトル信号と、前記余韻成分制御部により生成された前記第3振幅スペクトル信号とを合成して第4振幅スペクトル信号を生成する第1加算部と、
     該第1加算部により生成された前記第4振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて周波数スペクトル信号を求め、求められた該周波数スペクトル信号に短時間逆フーリエ変換処理とオーバーラップ加算とを行うことによって、周波数領域から時間領域に変換されたオーディオ信号を生成するIFFT部と
    を備え、
     前記アタック成分制御部は、
     予め設定された第1カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行う第1HPF部と、
     該第1HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号のアタック成分を検出する第1リミッタ部と、
     予め設定された第1重み付け量に基づいて、前記第1リミッタ部により検出された振幅スペクトル信号のアタック成分に対して重み付け処理を行う第1ゲイン部とを有し、
     前記余韻成分制御部は、
     予め設定された第2カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行う第2HPF部と、
     該第2HPF部においてハイパスフィルタ処理された振幅スペクトル信号に-1を乗算して振幅の反転を行う振幅反転部と、
     該振幅反転部により振幅の反転が行われた振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号の余韻成分を検出する第2リミッタ部と、
     予め設定された第2重み付け量に基づいて、前記第2リミッタ部により検出された振幅スペクトル信号の余韻成分に対して重み付け処理を行う第2ゲイン部とを有すること
     を特徴とする音響信号処理装置。
  2.  前記第1加算部により生成された前記第4振幅スペクトル信号のノイズ制御を行って第5振幅スペクトル信号を生成するノイズ制御部を備え、
     前記IFFT部は、前記ノイズ制御部により生成された前記第5振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数領域から時間領域に変換された前記オーディオ信号を生成し、
     前記ノイズ制御部は、
     予め設定された第3カットオフ周波数に基づいて、前記第1加算部により生成された前記第4振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行う第3HPF部と、
     該第3HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定する第3リミッタ部と、
     予め設定された0以上1以下の値からなる第3重み付け量に基づいて、前記第3リミッタ部によりマイナス側の振幅が制限された振幅スペクトル信号の重み付け処理を行う第3ゲイン部と、
     値1から前記第3重み付け量の値を減じた重み付け量に基づいて、前記第1加算部において生成された前記第4振幅スペクトル信号の重み付け処理を行う第4ゲイン部と、
     前記第3ゲイン部により重み付け処理が行われた振幅スペクトル信号と、前記第4ゲイン部により重み付け処理が行われた振幅スペクトル信号とを合成して前記第5振幅スペクトル信号を生成する第2加算部とを有すること
     を特徴とする請求項1に記載の音響信号処理装置。
  3.  入力されたオーディオ信号を時間領域から周波数領域に変換して周波数スペクトル信号を求めて、第1振幅スペクトル信号と位相スペクトル信号とを生成するFFT部と、
     該FFT部により生成された前記第1振幅スペクトル信号のアタック成分を制御して第2振幅スペクトル信号を生成するアタック成分制御部と、
     前記FFT部により生成された前記第1振幅スペクトル信号の余韻成分を制御して第3振幅スペクトル信号を生成する余韻成分制御部と、
     前記FFT部により生成された前記第1振幅スペクトル信号と、前記アタック成分制御部により生成された前記第2振幅スペクトル信号と、前記余韻成分制御部により生成された前記第3振幅スペクトル信号とを合成して第4振幅スペクトル信号を生成する第1加算部と、
     該第1加算部により生成された前記第4振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数領域から時間領域に変換されたオーディオ信号を生成するIFFT部と
    を備え、
     前記アタック成分制御部は、第1HPF部と、第1リミッタ部と、第1ゲイン部とを有し、
     前記余韻成分制御部は、第2HPF部と、振幅反転部と、第2リミッタ部と、第2ゲイン部とを有し、
     前記入力されたオーディオ信号に対してアタック成分制御と余韻成分制御とを行う音響信号処理装置の音響信号処理方法であって、
     前記FFT部は、前記入力されたオーディオ信号に対して、フーリエ変換長とオーバーラップ長との差分時間ずつ時間シフトしながら短時間フーリエ変換を行うことにより、差分時間ずつ時間が異なる複数の振幅スペクトルを求め、求められた各振幅スペクトルの周波数毎の時間変動を求めることにより前記周波数スペクトル信号を求め、さらに、当該周波数スペクトル信号に基づいて、前記第1振幅スペクトル信号と前記位相スペクトル信号とを生成し、
     前記アタック成分制御部において、
     前記第1HPF部は、予め設定された第1カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行い、
     前記第1リミッタ部は、前記第1HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号のアタック成分を検出し、
     前記第1ゲイン部は、予め設定された第1重み付け量に基づいて、前記第1リミッタ部により検出された振幅スペクトル信号のアタック成分に対して重み付け処理を行い、
     前記余韻成分制御部において、
     前記第2HPF部は、予め設定された第2カットオフ周波数に基づいて、前記FFT部により生成された前記第1振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行い、
     前記振幅反転部は、前記第2HPF部においてハイパスフィルタ処理された振幅スペクトル信号に-1を乗算して振幅の反転を行い、
     前記第2リミッタ部は、前記振幅反転部により振幅の反転が行われた振幅スペクトル信号のマイナス側の振幅を制限して0に設定することによって、スペクトル毎に振幅スペクトル信号の余韻成分を検出し、
     前記第2ゲイン部は、予め設定された第2重み付け量に基づいて、前記第2リミッタ部により検出された振幅スペクトル信号の余韻成分に対して重み付け処理を行い、
     前記第1加算部は、前記第1振幅スペクトル信号と、前記第1ゲイン部によりアタック成分に対して重み付け処理が行われた前記第2振幅スペクトル信号と、前記第2ゲイン部により余韻成分に対して重み付け処理が行われた前記第3振幅スペクトル信号とを合成して前記第4振幅スペクトル信号を生成し、
     前記IFFT部は、前記第4振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数スペクトル信号を求め、求められた該周波数スペクトル信号に短時間逆フーリエ変換処理とオーバーラップ加算とを行うことによって、周波数領域から時間領域に変換された前記オーディオ信号を生成すること
     を特徴とする音響信号処理装置の音響信号処理方法。
  4.  前記第1加算部により生成された前記第4振幅スペクトル信号のノイズ制御を行って第5振幅スペクトル信号を生成するノイズ制御部を備え、
     前記ノイズ制御部は、第3HPF部と、第3リミッタ部と、第3ゲイン部と、第4ゲイン部と、第2加算部とを有し、
     前記IFFT部は、前記ノイズ制御部により生成された前記第5振幅スペクトル信号と、前記FFT部により生成された前記位相スペクトル信号とに基づいて、周波数領域から時間領域に変換された前記オーディオ信号を生成し、
     前記ノイズ制御部において、
     前記第3HPF部は、予め設定された第3カットオフ周波数に基づいて、前記第1加算部により生成された前記第4振幅スペクトル信号に対して、スペクトル毎にハイパスフィルタ処理を行い、
     前記第3リミッタ部は、前記第3HPF部によりハイパスフィルタ処理された振幅スペクトル信号のマイナス側の振幅を制限して0に設定し、
     前記第3ゲイン部は、予め設定された0以上1以下の値からなる第3重み付け量に基づいて、前記第3リミッタ部によりマイナス側の振幅が制限された振幅スペクトル信号の重み付け処理を行い、
     前記第4ゲイン部は、値1から前記第3重み付け量の値を減じた重み付け量に基づいて、前記第1加算部において生成された前記第4振幅スペクトル信号の重み付け処理を行い、
     前記第2加算部は、前記第3ゲイン部により重み付け処理が行われた振幅スペクトル信号と、前記第4ゲイン部により重み付け処理が行われた振幅スペクトル信号とを合成して前記第5振幅スペクトル信号を生成すること
     を特徴とする請求項3に記載の音響信号処理装置の音響信号処理方法。
PCT/JP2013/051273 2012-03-12 2013-01-23 音響信号処理装置および音響信号処理方法 Ceased WO2013136846A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/381,989 US9280986B2 (en) 2012-03-12 2013-01-23 Acoustic signal processing device and acoustic signal processing method
EP13760657.0A EP2827330B1 (en) 2012-03-12 2013-01-23 Audio signal processing device and audio signal processing method
CN201380013601.XA CN104185870B (zh) 2012-03-12 2013-01-23 声学信号处理装置和声学信号处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-054560 2012-03-12
JP2012054560A JP5898534B2 (ja) 2012-03-12 2012-03-12 音響信号処理装置および音響信号処理方法

Publications (1)

Publication Number Publication Date
WO2013136846A1 true WO2013136846A1 (ja) 2013-09-19

Family

ID=49160768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/051273 Ceased WO2013136846A1 (ja) 2012-03-12 2013-01-23 音響信号処理装置および音響信号処理方法

Country Status (5)

Country Link
US (1) US9280986B2 (ja)
EP (1) EP2827330B1 (ja)
JP (1) JP5898534B2 (ja)
CN (1) CN104185870B (ja)
WO (1) WO2013136846A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3110169A4 (en) * 2014-02-17 2017-10-11 Clarion Co., Ltd. Acoustic processing device, acoustic processing method, and acoustic processing program
CN110832581A (zh) * 2017-03-31 2020-02-21 弗劳恩霍夫应用研究促进协会 用于使用瞬态位置检测后处理音频信号的装置
US11089472B2 (en) 2017-03-14 2021-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transmitter for emitting signals and receiver for receiving signals
JP2022171456A (ja) * 2021-04-30 2022-11-11 フォルシアクラリオン・エレクトロニクス株式会社 音響処理装置及びプログラム
US11562756B2 (en) 2017-03-31 2023-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6313629B2 (ja) * 2014-03-31 2018-04-18 Pioneer DJ株式会社 音声信号処理装置、音声信号処理装置の制御方法およびプログラム
AU2014204540B1 (en) * 2014-07-21 2015-08-20 Matthew Brown Audio Signal Processing Methods and Systems
EP3121814A1 (en) * 2015-07-24 2017-01-25 Sound object techology S.A. in organization A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use
JP6496030B2 (ja) * 2015-09-16 2019-04-03 株式会社東芝 音声処理装置、音声処理方法及び音声処理プログラム
WO2017158105A1 (en) * 2016-03-18 2017-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding by reconstructing phase information using a structure tensor on audio spectrograms
EP3270378A1 (en) * 2016-07-14 2018-01-17 Steinberg Media Technologies GmbH Method for projected regularization of audio data
CN106847249B (zh) * 2017-01-25 2020-10-27 得理电子(上海)有限公司 一种发音处理方法及系统
CN107623962B (zh) * 2017-08-25 2019-06-07 广州飞达音响股份有限公司 一种利用led灯指示音频压缩限幅效果的系统及方法
CN108804072A (zh) * 2018-06-13 2018-11-13 广州酷狗计算机科技有限公司 音频处理方法、装置、存储介质及终端
DE102018213834B3 (de) 2018-07-02 2020-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur modifizierung eines lautsprechersignals zur vermeidung einer membranüberauslenkung
JP6912780B2 (ja) * 2018-08-24 2021-08-04 日本電信電話株式会社 音源強調装置、音源強調学習装置、音源強調方法、プログラム
KR102096588B1 (ko) * 2018-12-27 2020-04-02 인하대학교 산학협력단 음향 장치에서 맞춤 오디오 잡음을 이용해 사생활 보호를 구현하는 기술
TWI719429B (zh) * 2019-03-19 2021-02-21 瑞昱半導體股份有限公司 音訊處理方法與音訊處理系統
JP7352383B2 (ja) 2019-06-04 2023-09-28 フォルシアクラリオン・エレクトロニクス株式会社 ミキシング処理装置及びミキシング処理方法
CN112447166B (zh) * 2019-08-16 2024-09-10 阿里巴巴集团控股有限公司 一种针对目标频谱矩阵的处理方法及装置
DE102019216504A1 (de) 2019-10-25 2021-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Konzept zur Modifizierung eines Lautsprechersignals zur Vermeidung einer Membranüberauslenkung
KR102940132B1 (ko) * 2019-10-28 2026-03-18 도호쿠 다이가쿠 진동 제어 장치, 진동 제어 프로그램 및 진동 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101439A (ja) * 1998-09-24 2000-04-07 Sony Corp 情報処理装置および方法、情報記録装置および方法、記録媒体、並びに提供媒体
JP2003005799A (ja) * 2001-06-21 2003-01-08 Sharp Corp 符号化装置
JP2007036710A (ja) 2005-07-27 2007-02-08 Victor Co Of Japan Ltd アタック信号増幅デジタル信号処理装置
JP2010538315A (ja) * 2007-08-27 2010-12-09 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 過渡状態検出器およびオーディオ信号の符号化を支援する方法
JP2012002858A (ja) * 2010-06-14 2012-01-05 Pioneer Electronic Corp タイムスケーリング方法、ピッチシフト方法、オーディオデータ処理装置およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US20030023429A1 (en) * 2000-12-20 2003-01-30 Octiv, Inc. Digital signal processing techniques for improving audio clarity and intelligibility
US7353169B1 (en) 2003-06-24 2008-04-01 Creative Technology Ltd. Transient detection and modification in audio signals
US7876909B2 (en) * 2004-07-13 2011-01-25 Waves Audio Ltd. Efficient filter for artificial ambience
EP1774517B1 (en) * 2004-07-22 2017-01-04 Koninklijke Philips N.V. Audio signal dereverberation
US7783488B2 (en) * 2005-12-19 2010-08-24 Nuance Communications, Inc. Remote tracing and debugging of automatic speech recognition servers by speech reconstruction from cepstra and pitch information
US8706496B2 (en) * 2007-09-13 2014-04-22 Universitat Pompeu Fabra Audio signal transforming by utilizing a computational cost function
US7594423B2 (en) * 2007-11-07 2009-09-29 Freescale Semiconductor, Inc. Knock signal detection in automotive systems
US8143620B1 (en) * 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
US8804977B2 (en) * 2011-03-18 2014-08-12 Dolby Laboratories Licensing Corporation Nonlinear reference signal processing for echo suppression
US9635474B2 (en) * 2011-05-23 2017-04-25 Sonova Ag Method of processing a signal in a hearing instrument, and hearing instrument
JP5654955B2 (ja) * 2011-07-01 2015-01-14 クラリオン株式会社 直接音抽出装置および残響音抽出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101439A (ja) * 1998-09-24 2000-04-07 Sony Corp 情報処理装置および方法、情報記録装置および方法、記録媒体、並びに提供媒体
JP2003005799A (ja) * 2001-06-21 2003-01-08 Sharp Corp 符号化装置
JP2007036710A (ja) 2005-07-27 2007-02-08 Victor Co Of Japan Ltd アタック信号増幅デジタル信号処理装置
JP2010538315A (ja) * 2007-08-27 2010-12-09 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 過渡状態検出器およびオーディオ信号の符号化を支援する方法
JP2012002858A (ja) * 2010-06-14 2012-01-05 Pioneer Electronic Corp タイムスケーリング方法、ピッチシフト方法、オーディオデータ処理装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2827330A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3110169A4 (en) * 2014-02-17 2017-10-11 Clarion Co., Ltd. Acoustic processing device, acoustic processing method, and acoustic processing program
US11089472B2 (en) 2017-03-14 2021-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transmitter for emitting signals and receiver for receiving signals
CN110832581A (zh) * 2017-03-31 2020-02-21 弗劳恩霍夫应用研究促进协会 用于使用瞬态位置检测后处理音频信号的装置
JP2020512598A (ja) * 2017-03-31 2020-04-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ トランジェント位置検出を使用したオーディオ信号の後処理のための装置
JP7055542B2 (ja) 2017-03-31 2022-04-18 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ トランジェント位置検出を使用したオーディオ信号の後処理のための装置
US11373666B2 (en) 2017-03-31 2022-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for post-processing an audio signal using a transient location detection
US11562756B2 (en) 2017-03-31 2023-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping
CN110832581B (zh) * 2017-03-31 2023-12-29 弗劳恩霍夫应用研究促进协会 用于使用瞬态位置检测后处理音频信号的装置
JP2022171456A (ja) * 2021-04-30 2022-11-11 フォルシアクラリオン・エレクトロニクス株式会社 音響処理装置及びプログラム
JP7626660B2 (ja) 2021-04-30 2025-02-04 フォルシアクラリオン・エレクトロニクス株式会社 音響処理装置及びプログラム

Also Published As

Publication number Publication date
US20150030171A1 (en) 2015-01-29
CN104185870A (zh) 2014-12-03
US9280986B2 (en) 2016-03-08
JP2013190470A (ja) 2013-09-26
CN104185870B (zh) 2016-10-26
EP2827330B1 (en) 2016-12-14
EP2827330A4 (en) 2015-11-11
EP2827330A1 (en) 2015-01-21
JP5898534B2 (ja) 2016-04-06

Similar Documents

Publication Publication Date Title
JP5898534B2 (ja) 音響信号処理装置および音響信号処理方法
JP5098404B2 (ja) 音声処理方法および音声処理装置
JP5453740B2 (ja) 音声強調装置
JP5295238B2 (ja) 音響処理装置
JP5654955B2 (ja) 直接音抽出装置および残響音抽出装置
CN106105262A (zh) 用于对频率相关衰减级进行调谐的设备和方法
JP4747835B2 (ja) オーディオ再生の効果付加方法およびその装置
JP6533959B2 (ja) 音声信号処理装置および音声信号処理方法
JP5841405B2 (ja) ダイナミックレンジ拡張装置
JP5985306B2 (ja) 雑音低減装置および雑音低減方法
JP5375861B2 (ja) オーディオ再生の効果付加方法およびその装置
JP5268581B2 (ja) 低域補完装置
JP6155132B2 (ja) 低域補完装置および低域補完方法
JP6531418B2 (ja) 信号処理装置
JP2013055384A (ja) ダイナミックレンジ拡張装置
JP2012027101A (ja) 音声再生装置、音声再生方法、プログラム、及び、記録媒体
JP2008072600A (ja) 音響信号処理装置、音響信号処理プログラム、音響信号処理方法
JP5998357B2 (ja) 車載用音響再生装置
JP2006324786A (ja) 音響信号処理装置およびその方法
JP6314803B2 (ja) 信号処理装置、信号処理方法及びプログラム
Heutschi Acoustics II: audio signal processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13760657

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2013760657

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013760657

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14381989

Country of ref document: US