WO2015114674A1 - 集音装置、集音装置の入力信号補正方法および移動機器情報システム - Google Patents

集音装置、集音装置の入力信号補正方法および移動機器情報システム Download PDF

Info

Publication number
WO2015114674A1
WO2015114674A1 PCT/JP2014/000412 JP2014000412W WO2015114674A1 WO 2015114674 A1 WO2015114674 A1 WO 2015114674A1 JP 2014000412 W JP2014000412 W JP 2014000412W WO 2015114674 A1 WO2015114674 A1 WO 2015114674A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
input signal
power
input
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/000412
Other languages
English (en)
French (fr)
Inventor
訓 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015559605A priority Critical patent/JP6048596B2/ja
Priority to PCT/JP2014/000412 priority patent/WO2015114674A1/ja
Priority to US15/025,975 priority patent/US9674607B2/en
Priority to DE112014006281.2T priority patent/DE112014006281T5/de
Priority to CN201480068414.6A priority patent/CN105830152B/zh
Publication of WO2015114674A1 publication Critical patent/WO2015114674A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Definitions

  • the present invention relates to a sound collecting device that collects sound such as voice using a plurality of sound collecting devices.
  • a microphone array process for collecting sounds using a plurality of microphones has been devised and widely used.
  • the frequency characteristics and gain characteristics of a microphone are not uniform due to factors such as individual differences at the time of manufacture, aging, or installation environment, but vary from individual to individual.
  • microphone array processing if there are variations in the frequency characteristics and gain characteristics of the microphones used, the sound collection performance will deteriorate, so it is possible to correct the signals acquired by the microphones so that there is no difference in characteristics between the microphones. Done.
  • the sound arriving at the microphone is corrected based on the signal acquired by the microphone
  • the correction performed on the collected sound of the target sound is caused by factors such as the position of the acquired sound source being different from the target sound source. Therefore, it is not always an appropriate correction. Even if correction is performed based on the signal obtained from the target sound, there is a possibility that the correction is performed based on the signal obtained by mistakenly acquiring the sound that is not the target sound. It is not always possible to make an appropriate correction for the sound collection.
  • the sound collecting device using the conventional microphone array has a problem that there is a possibility that the correction is not suitable for the target sound to be collected.
  • the present invention has been made to solve the above-described problem, and corrects signals acquired by a plurality of microphones of a microphone array using sound arriving at the microphones, for sound to be collected. It is an object of the present invention to obtain a sound collecting device that reduces the possibility of performing inappropriate correction.
  • the sound collecting device of the present invention for each of a plurality of input signals acquired by a plurality of microphones, the power of the input signal having a value smaller than a prescribed first threshold value is set as the small signal power of the input signal.
  • a small signal power acquisition unit that performs correction
  • a correction amount setting unit that obtains respective correction amounts for correcting a plurality of input signals based on the respective small signal powers, and respective corrections for correcting a plurality of input signals
  • a correction unit that corrects corresponding input signals based on the quantity.
  • An input signal correction method for a sound collector of the present invention is a method for correcting an input signal in a sound collector that generates a signal of a target sound to be collected from a plurality of input signals acquired by a plurality of microphones.
  • the power of the input signal having a value smaller than a prescribed threshold is set as the small signal power of the input signal
  • a correction amount for correcting the input signal corresponding to the small signal power obtained based on the small signal power is obtained, and a signal obtained by correcting the plurality of input signals based on the respective correction amounts is used.
  • a sound collector that generates an output signal that emphasizes the sound to be collected, and a route guidance device that performs processing based on a voice recognition result of the output signal output by the sound collector, or an output signal of the sound collector At least one of a call silencer and an active silencer that uses an output signal of the sound collection device is provided.
  • the small signal is set to a power smaller than the defined first threshold value as the small signal power of each input signal. Since the correction amount for correcting each input signal based on the power is obtained and each input signal is corrected with the obtained correction amount, there is a possibility that correction is not appropriate for the sound to be collected. Can be obtained.
  • the input signal correction method for a sound collector of the present invention the input signal from each microphone constituting the microphone array has a power smaller than the defined first threshold value and the small signal power of each input signal. Since the correction amount for correcting each input signal is obtained based on this small signal power and each input signal is corrected with the obtained correction amount, it is not appropriate for the sound to be collected.
  • Correction can be performed with reduced possibility of correction.
  • the mobile device information system of the present invention for each of a plurality of input signals acquired by a plurality of microphones, the power of the input signal having a value smaller than a prescribed threshold is set as the small signal power of the input signal. Based on each small signal power, a correction amount for correcting the input signal corresponding to the small signal power is obtained, and a plurality of input signals are corrected based on the respective correction amounts.
  • the sound collecting device outputs an output signal that emphasizes the sound to be sounded, and the route guidance device, the communication device, or the active silencer can operate with better performance by using the signal of this good sound.
  • vehicle-mounted information system mobile equipment information system
  • FIG. 1 is a block diagram showing a configuration of a sound collecting apparatus according to an embodiment of the present invention.
  • the sound collector of this embodiment includes a signal correction unit 1 that corrects sound signals (input signals) acquired in a plurality of microphones 21 1 to 21 N (N is a natural number of 2 or more) that constitutes a microphone array 20.
  • a signal processing unit 2 for processing the signal corrected by the signal correction unit 1.
  • a microphone 21 when there is no need to distinguish a specific microphone, it may be simply referred to as a microphone 21. The same applies to the notation of other blocks and signals.
  • input signals xin 1 (n) to xin N (n) input to the signal correction unit 1 are AD (analog digital) in which the sound collecting device includes electric signals of sounds acquired by the microphones 21 1 to 21 N.
  • a converter (not shown) digitizes the signal, samples at a specified sampling frequency (for example, 8 kHz), and divides the signal into frames at a specified time (for example, every 10 milliseconds).
  • n indicates a frame number for identifying each divided frame.
  • (n) may be omitted and simply indicated as xin 1 in some cases.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the signal correction unit 1.
  • the signal correction unit 1 includes small signal power acquisition units 3 1 to 3 N , a correction amount setting unit 4, and correction units 5 1 to 5 N.
  • the small signal power acquisition unit 3 determines and outputs the power of the input signal xin having a value smaller than the first threshold defined for the input signal xin as the small signal power Pmin.
  • the correction amount setting unit 4 determines a correction amount for correcting the corresponding input signal xin based on the small signal power Pmin output from the small signal power acquisition unit 3.
  • the correction unit 5 corrects the input signal xin based on the respective correction amounts determined by the correction amount setting unit 4.
  • N small signal power acquisition units 3 1 to 3 N are provided corresponding to N input signals xin 1 to xin N , but one block processes a plurality of input signals. You may comprise so that it may do. The same applies to the correction units 5 1 to 5 N and the like.
  • FIG. 3 is a block diagram showing an example of the internal configuration of the small signal power acquisition unit 3.
  • the small signal power acquisition unit 3 includes a power calculation unit 6 that calculates the power of the input signal xin, a minimum value tracking unit 7 that calculates a long-term average value of the minimum value of power, and a first value based on the long-term average value of the minimum value of power.
  • the threshold value calculation unit 8 calculates a threshold value
  • the comparison unit 9 compares the power of the input signal xin with the first threshold value and outputs a small signal power Pmin.
  • the small signal power acquisition units 3 1 to 3 N have the same configuration.
  • Minimum value tracking unit 7, threshold value calculation unit 8, and comparison unit 9 are executed by a general-purpose processor or hardware and processor composed of peripheral circuits such as DSP (Digital Signal Processor) and RAM (Random Access Memory). It can be realized with software. Each of these blocks can also be realized by hardware such as ASIC (Application Specific Specific Integrated Circuit).
  • FIG. 4 is a flowchart showing the processing flow of the sound collecting apparatus of this embodiment.
  • the input signal xin 1 (n) of the input sound including noise other than the target sound such as the target sound such as voice or music acquired by the microphones 21 1 to 21 N of the microphone array 20 and the background noise is acquired by the signal correction unit 1.
  • ⁇ Xin N (n) is received (ST100).
  • Signal correcting unit 1 is input an input signal xin 1 (n) ⁇ xin N (n) a small signal power acquisition unit 3 1 ⁇ 3 N is processed, the input signal xin 1 (n) ⁇ xin N (n) The small signal powers Pmin 1 (n) to Pmin N (n) are output. Details of processing performed by the small signal power acquisition unit 3 will be described below with reference to FIGS. 3 and 4.
  • the power calculation unit 6 of the small signal power acquisition unit 3 calculates the current frame power of the input signal from the input signal xin (n) by the following equation (1), and outputs the input signal power Pin (n). (ST101).
  • n is a frame number
  • t is a number indicating a discrete time within the frame
  • xin (n, t) represents the amplitude at time t of frame n for the input signal xin (n).
  • M 80.
  • the minimum value tracking unit 7 that has received the input signal power Pin (n) output from the power calculation unit 6 tracks the minimum value (minimum power) of the input signal power Pin (n) and calculates the long-term average value of the minimum value. (ST102). Specifically, the minimum value tracking unit 7 calculates the long-term average value Ptr (n) of the minimum value of the input signal power Pin (n) according to the following equation (2). The minimum value tracking unit 7 outputs the calculated long-term average value Ptr (n) to the threshold value calculation unit 8.
  • ⁇ is a time constant for forgetting, and is given by, for example, Expression (3) below.
  • PNPOW_TH is a threshold value defined in advance.
  • the forgetting factor ⁇ is increased to make the forgetting speed moderate.
  • the long-term average value Ptr (n) of the minimum value of the input signal power Pin (n) The influence of the power of the target sound can be suppressed, and the tracking accuracy of the minimum value of the input signal power Pin (n) can be improved.
  • the threshold value calculation unit 8 adds the numerical value PADD (n) defined to the long-term average value Ptr (n) input according to the following equation (4), and the first value of the input signal xin (n)
  • a small signal power threshold value Pth (n) which is a threshold value, is defined and output (ST103).
  • a suitable example of the numerical value PADD (n) in this embodiment is a fixed value of 3 dB. However, it may be changed as appropriate for each frame, for example, according to the type of input sound, etc., so that the input signal is corrected properly.
  • the comparison unit 9 compares the input signal power Pin (n) with the small signal power threshold value Pth (n) according to the following equation (5), and the small signal power Pmin (n) of the input signal xin (n). Is obtained and output (ST104).
  • Pin (n) is lower than Pth (n)
  • Pin (n) is output as Pmin (n).
  • Pmin (n ⁇ 1) which is the value of the previous frame is output.
  • the comparison unit 9 stores the small signal power Pmin (n) of the output input signal xin (n) for use in the processing of the next frame.
  • FIG. 5 shows the change of the waveform with the lapse of time of the input signal xin from which the voice is acquired, and (B) shows the change of the power of the input signal xin with the lapse of time.
  • a solid line B1 represents the input signal power Pin calculated by the power calculation unit 6.
  • a thick solid line B2 is the small signal power threshold value Pth calculated by the threshold value calculation unit 8.
  • FIG. 6 is a graph obtained by enlarging a part of FIG. 5B in the vertical axis direction.
  • the small signal power Pmin of the previous frame is not the input signal power Pin but the small signal power Pmin of the frame. Therefore, it is possible to suppress the influence of the input signal power Pin in the section including the target sound, on the small signal power Pmin.
  • the correction amount setting unit 4 that has received the small signal powers Pmin 1 (n) to Pmin N (n) output from each of the small signal power acquisition units 3 1 to 3 N performs correction for correcting the gain of each microphone 21.
  • a correction gain g (n) which is a quantity, is calculated and obtained (ST105).
  • an example of the calculation of the correction amount an example of a reference microphone 21 1.
  • the other microphones 21 2 - may be referenced to either the 21 N instead of on the basis of the microphone 21 1.
  • the microphone 21 closest to the sound source can be used as a reference. Note that, by using any one of the microphones 21 as a reference, it is possible to eliminate the need to set a power reference for obtaining the correction amount in advance.
  • Correction amount setting unit 4 is at the same level, each of the small signal power Pmin 1 (n) ⁇ Pmin N (n) of the reference small-signal power Pmin 1 (n) according to the microphone 21 1 ⁇ 21 N according to the microphone 21 1 In such a manner, the correction gain g m (n) is calculated according to the following equation (6). Note that m is a natural number of 1 or more and N or less.
  • the correction amount setting unit 4 outputs the calculated correction gains g 1 (n) to g N (n) to the correction units 5 1 to 5 N , respectively.
  • the correction units 5 1 to 5 N that have received the correction gains g 1 (n) to g N (n) correct the input signals xin 1 (n) to xin N (n) by the following equation (7) (ST106).
  • m is a natural number of 1 or more and N or less.
  • xin 1 (n ) yin 1 (n) It is.
  • Correction unit 5 (referred to as correction signal) input signal xin 1 (n) ⁇ xin N (n) a correction signal yin outputs 1 (n) ⁇ yin N (n) to the signal processing section 2.
  • the signal processing unit 2 that has received the correction signals yin 1 (n) to yin N (n) uses the correction signals yin 1 (n) to yin N (n), for example, a known method such as a delay sum method or a maximum likelihood method. Emphasis processing is performed and an output signal is output (ST107).
  • the first threshold value of the power of each input signal is tracked by tracking the minimum value of the power for each input signal from each microphone of the microphone array.
  • the small signal power threshold is defined, the input signal power smaller than the small signal power threshold is defined as the small signal power, and the input signal from each microphone is corrected based on the small signal power.
  • the correction amount was calculated.
  • the input signal can be corrected based on an input signal whose power is lower than a specified threshold value, so that the possibility of improper correction for the sound to be collected is reduced, and the microphone is reduced.
  • the input signal acquired in step 1 can be corrected. This is because omnidirectional sound such as background noise is suitable for input signal correction to reduce differences in microphone characteristics, and input signals with low power are suitable for diffused omnidirectional sound. This is because it can be regarded as a signal.
  • the first threshold value is defined by tracking the minimum value of the power of the input signal from the microphone, it is not necessary to determine this threshold value in advance, and the sound collecting device can be used in an environment. It is possible to compensate for differences in characteristics between microphones in a flexible manner.
  • control is performed according to the minimum value (minimum power) of the power of the input signal, but it is also possible to improve the accuracy of correction by analyzing the state of the input signal.
  • FIG. 7 is a block diagram showing a configuration of the signal correction unit 1b of the sound collector according to Embodiment 2 of the present invention.
  • the overall configuration of the sound collector of the second embodiment is the same as that of the first embodiment. 7 differs from the first embodiment in that a signal determination unit 10 that analyzes an input signal is provided, and an analysis result of the signal determination unit 10 is input to the small signal power acquisition unit 3b.
  • the signal determination unit 10 can be realized by a processor and a program executed by the processor, as well as other blocks, or by hardware such as an ASIC.
  • the signal correction unit 1b receives the input signals xin 1 (n) to xin N (n) as in the first embodiment.
  • the input signals xin 1 (n) to xin N (n) received by the signal determination unit 10 are analyzed.
  • the signal determination unit 10 determines whether the received input signal xin 1 is, for example, voice or noise, and outputs the result as determination information to the small signal power acquisition unit 3b.
  • a method for analyzing the input signals xin 1 (n) to xin N (n) for example, a method such as autocorrelation analysis may be used.
  • the small signal power acquisition unit 3b stops tracking of the minimum power when the input signal is not noise, for example, and performs tracking of the minimum power when it is determined as noise. .
  • Other processes are the same as those in the first embodiment.
  • the minimum power tracking process by controlling the minimum power tracking process using the result of analyzing the state of the input signal, more accurate tracking can be performed and precise gain correction can be performed. It becomes. This is particularly effective when voice is frequently mixed into the input signal or when high level noise is mixed due to the microphone being hit.
  • Embodiment 3 FIG.
  • control is performed in accordance with the minimum power of the entire frequency band of the input signal.
  • the input signal is converted into the frequency domain, and the correction is subdivided for each spectral component or each band of the input signal. Therefore, it is possible to perform more fine correction.
  • FIG. 8 is a block diagram showing the configuration of the signal correction unit 1c of the sound collector according to Embodiment 3 of the present invention.
  • the overall configuration of the sound collecting device of the third embodiment is the same as that of the first embodiment. 8 differs from the first embodiment in that an FFT unit (spectral transform unit) 11 that performs Fast Fourier Transform (FFT) processing on an input signal, and an inverse FFT ( An IFFT section (inverse spectrum transform section) 12 that performs IFFT (Inverse FFT) processing is provided.
  • FFT unit spectral transform unit
  • An IFFT section inverse spectrum transform section
  • IFFT Inverse FFT
  • the other configurations are the same as those in FIG. 2, but the small signal power extraction unit 3c, the correction amount setting unit 4c, and the correction unit 5c process the spectrum.
  • the FFT unit 11 and the IFFT unit 12 can be realized by a processor and a program executed by the processor, as well as other blocks, or by hardware such as an ASIC.
  • FFT processing is performed on the input signal xin (n) to which the FFT unit 11 is input.
  • FFT analysis shown in the following equation (8) is performed to convert the input signal xin (n) into the power spectrum Xin (n, k).
  • FFT (•) represents FFT analysis
  • K is the total number of power spectra obtained by this processing
  • k is a number (spectrum number) from 0 to K ⁇ 1 attached to the obtained power spectrum.
  • the notation of the spectrum number is omitted.
  • the small signal power acquisition unit 3c When the small signal power acquisition unit 3c receives the power spectrum Xin (n, k) output from the FFT unit 11, the small signal power acquisition unit 3c uses the same method as that in the first embodiment to determine the power that is the second threshold value for each spectrum. A spectrum threshold value is obtained, and a small signal power spectrum Xmin (n, k) is determined and output based on the threshold value.
  • the correction amount setting unit 4c uses the small signal power spectra Xmin 1 (n, k) to Xmin N (n, k) corresponding to the input signals xin 1 (n) to xin N (n), respectively.
  • Spectral correction gains G 1 (n, k) to G N (n, k), which are correction amounts for each spectrum, are calculated in the same manner as in the first embodiment.
  • the correction unit 5c corrects the power spectrum Xin (n, k) of the corresponding input signal xin (n) for each spectrum by the following equation (9).
  • m is a natural number of 1 or more and N or less.
  • the IFFT unit 12 reconverts the corresponding corrected power spectra Yin 1 (n, k) to Yin N (n, k) into signals in the time domain by IFFT processing, and corrects the corrected signals yin 1 (n) to yin N (n) is output to the signal processor 2.
  • the subsequent processing is the same as in the first embodiment.
  • the correction amount is calculated and corrected for each power spectrum obtained by performing FFT processing on the input signal xin (n).
  • the frequency characteristics and the amplitude can be made uniform every time, and more precise correction can be performed.
  • Embodiment 4 Implementation in which the sound collecting device described in the first to third embodiments is incorporated into a mobile device information system including a route guidance device or a communication device mounted on a mobile device such as an automobile or a ship. A form is demonstrated.
  • the in-vehicle information system will be described as an example of the mobile device information system.
  • FIG. 10 is a block diagram showing an example of the configuration of the in-vehicle information system according to this embodiment.
  • the in-vehicle information system according to this embodiment includes a sound collection device 100 according to any of the first to third embodiments, a route guidance device 101, a voice recognition device 102, a call device 103, an active silencer 104, a microphone array. 20, a display device 105, a communication device 106, and a speaker 107.
  • the configuration shown in FIG. 10 is merely an example, and various other devices can be combined.
  • the microphone array 20 inputs the acquired sound signal to the sound collector 100.
  • the sound collector 100 performs any of the operations described in the first to third embodiments and outputs an output signal.
  • the voice recognition device 102, the call device 103, and the active silencer 104 receive the output signal output from the sound collection device 100.
  • the voice recognition device 102 performs voice recognition processing on the received output signal of the sound collecting device 100 and outputs an instruction or the like issued by the user to the route guidance device 101 or the call device 103.
  • the route guidance device 101 Upon receiving the instruction from the voice recognition device 102, the route guidance device 101 performs a designated route guidance process, displays a route guidance image on the display device 105, outputs a route guidance voice or the like from the speaker 107, and the like. To do.
  • the call device 103 that has received the instruction from the voice recognition device 102 controls the communication device 106. For example, when it is an instruction to start a call, the call device 103 controls the communication device 106 to connect a communication line with a communication partner. Then, the output signal received from the sound collection device 100 is output to the communication device 106. Communication device 106 communicates with a communication partner via a communication line, and outputs the received signal to call device 103. The communication device 103 outputs the signal received from the communication device 106 from the speaker 107.
  • the active silencer 104 also predicts environmental noise in the vehicle interior using the output signal received from the sound collector 100, generates an acoustic signal that cancels the environmental noise, and outputs it from the speaker 107. Reduce noise.
  • the sound collecting device 100 of the in-vehicle information system uses the sound arriving at the microphone to reduce the possibility of performing inappropriate correction on the sound to be collected, Since the signal acquired by the microphone can be corrected, a good output signal can be obtained. Thereby, the performance of the process performed using sound, such as an audio
  • the sound collection device or the sound collection method of the present invention corrects the sound signal acquired by the microphone array so that the characteristic difference between the microphones is reduced without requiring the target sound to be collected. Therefore, it is possible to generate a signal of a good collected sound, which is useful in a system that performs processing based on the collected sound, such as an in-vehicle information system such as a car navigation system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

　マイクロホンアレーの複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定される第１のしきい値よりも値の小さい入力信号のパワーをその入力信号の小信号パワーとする小信号パワー取得部３と、複数の入力信号を補正するためのそれぞれの補正量を入力信号のそれぞれの前記小信号パワーに基づいて求める補正量設定部４と、複数の入力信号を補正するためのそれぞれの補正量に基づいて入力信号をそれぞれ補正する補正部５と、を備える。

Description

集音装置、集音装置の入力信号補正方法および移動機器情報システム
　本発明は、音声などの音を複数の収音機器を用いて集音する集音装置に関する。
　音声や音楽などの音を効率よく収音するために、複数のマイクロホン（マイクロホンアレー）を使用して集音するマイクロホンアレー処理が考案され広く用いられている。一般的にマイクロホンの周波数特性やゲイン特性は、製造時の個体差、経年変化あるいは設置環境などの要因により均一ではなく、個体によりばらつきがある。マイクロホンアレー処理では、使用するマイクロホンの周波数特性やゲイン特性にばらつきがあると集音の性能が劣化してしまうため、マイクロホン間の特性の差がなくなるようにマイクロホンで取得した信号を補正することが行われる。
　校正用の音（校正音）をスピーカ等の音源装置で発生し、マイクロホンで取得した校正音の信号に基づいてマイクロホン間の特性のばらつきが無くなるように取得した信号を補正する方法があるが、この方法では校正音を発生する音源装置が必要になる。これに対し音源装置を必要とせずに、マイクロホンに到来する音、また特に音声などの集音対象の音（以降、目的音と称す）をマイクロホンで取得した信号を用いてマイクロホン間の特性の差が無くなるように信号を逐次修正する方法が提案されている（特許文献１）。
特開２００９－５５３４３号公報（図７）
　しかしながら、マイクロホンに到来する音をマイクロホンで取得した信号に基づいて補正した場合、取得した音の音源と目的音の音源の位置が異なるなどの要因により、行った補正が目的音の集音に対して適切な補正であるとは限らない。また、目的音を取得した信号に基づいて補正を行おうとしても、誤って目的音ではない音を取得した信号に基づいて補正を行ってしまう可能性があり、このような場合にはやはり目的音の集音に対して適切な補正が行えるとは限らない。
　このように従来のマイクロホンアレーを用いた集音装置は、集音対象の目的音に適さない補正をしてしまう可能性があるという問題があった。
　この発明は、上述のような問題を解決するためになされたものであり、マイクロホンアレーの複数のマイクロホンで取得した信号の補正をマイクロホンに到来する音を用いて行う、集音対象の音に対して適切でない補正をする可能性を低減した集音装置を得ることを目的とする。
　この発明の集音装置は、複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定される第１のしきい値よりも値の小さい入力信号のパワーをその入力信号の小信号パワーとする小信号パワー取得部と、複数の入力信号を補正するためのそれぞれの補正量をそれぞれの前記小信号パワーに基づいて求める補正量設定部と、複数の入力信号を補正するためのそれぞれの補正量に基づいて対応する入力信号をそれぞれ補正する補正部と、を備えるようにしたものである。
　この発明の集音装置の入力信号補正方法は、複数のマイクロホンで取得された複数の入力信号から集音する対象の音の信号を生成する集音装置における入力信号の補正方法であって、規定されたしきい値よりも小さい入力信号のパワーをその入力信号の小信号パワーとするステップと、入力信号を補正するためのそれぞれの補正量を当該入力信号の小信号パワーに基づいて求めるステップと、入力信号のそれぞれをその入力信号を補正するための補正量に基づいて補正するステップと、を備えるようにしたものである。
　この発明の移動機器情報システムは、複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定されるしきい値よりも値の小さい入力信号のパワーをその入力信号の小信号パワーとし、それぞれのこの小信号パワーに基づいて求めたその小信号パワーに対応する入力信号を補正するための補正量を求め、それぞれのこの補正量に基づいて前記複数の入力信号をそれぞれ補正した信号を用いて集音対象の音を強調した出力信号を生成する集音装置と、その集音装置が出力した出力信号の音声認識結果に基づいて処理を行う経路案内装置、または集音装置の出力信号を用いる通話装置、または集音装置の出力信号を用いる能動消音装置の少なくともいずれか一つを備えるようにしたものである。
　この発明の集音装置によれば、マイクロホンアレーを構成する各マイクロホンからの入力信号について、規定される第１のしきい値よりも小さいパワーをそれぞれの入力信号の小信号パワーとして、この小信号パワーに基づいてそれぞれの入力信号を補正するための補正量を求めて、各入力信号を求めた補正量で補正するようにしたので、集音対象の音に対して適切でない補正をする可能性を低減した集音装置を得ることができる。
　この発明の集音装置の入力信号補正方法によれば、マイクロホンアレーを構成する各マイクロホンからの入力信号について、規定された第１のしきい値よりも小さいパワーをそれぞれの入力信号の小信号パワーとして、この小信号パワーに基づいてそれぞれの入力信号を補正するための補正量を求めて、各入力信号を求めた補正量で補正するようにしたので、集音対象の音に対して適切でない補正をする可能性を低減した補正をすることができる。
　この発明の移動機器情報システムによれば、複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定されるしきい値よりも値の小さい入力信号のパワーをその入力信号の小信号パワーとし、それぞれのこの小信号パワーに基づいてその小信号パワーに対応する入力信号を補正するための補正量を求め、それぞれのこの補正量に基づいて複数の入力信号をそれぞれ補正した信号を用いて集音対象の音を強調した出力信号を集音装置が出力し、経路案内装置、通話装置または能動消音装置はこの良好な音の信号を用いることでより良好な性能で動作をすることができる。
この発明の実施の形態１に係る集音装置の構成を示すブロック図である。 この発明の実施の形態１の集音装置の信号補正部の構成を示すブロック図である。 この発明の実施の形態１の集音装置の小信号パワー取得部の構成を示すブロック図である。 この発明の実施の形態１の集音装置の処理フローを示すフローチャートである。 この発明の実施の形態１の集音装置の入力信号のパワーと小信号パワーしきい値の一例を示すグラフである。 図５に示したグラフの一部を縦軸方向に拡大したグラフである。 この発明の実施の形態２に係る集音装置の信号補正部の構成を示すブロックである。 この発明の実施の形態３に係る集音装置の信号補正部の構成を示すブロックである。 この発明の実施の形態３の集音装置の信号補正部の変形例の構成を示すブロックである。 この発明の実施の形態４に係る車載情報システム（移動機器情報システム）の構成を示すブロック図である。
　以下、この発明の実施の形態を、図面を参照して説明する。なお、参照する図面において同一もしくは相当する部分には同一の符号を付している。
　実施の形態１．
　図１はこの発明の実施の形態に係る集音装置の構成を示すブロック図である。この実施の形態の集音装置は、マイクロホンアレー２０を構成する複数のマイクロホン２１１～２１Ｎ（Ｎは２以上の自然数）において取得された音の信号（入力信号）を補正する信号補正部１と信号補正部１で補正された信号を処理する信号処理部２を備えている。なお、以降の説明では例えば特定のマイクロホンを区別する必要が無い場合に単にマイクロホン２１と記す場合がある。これは他のブロックおよび信号の表記においても同様である。
　図１において信号補正部１に入力される入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）は、マイクロホン２１１～２１Ｎが取得した音の電気信号を集音装置が備えるＡＤ（アナログデジタル）変換器（図示せず）がデジタル化し、規定されたサンプリング周波数（例えば８ｋＨｚ）でサンプリングして、規定された時間毎（例えば１０ミリ秒毎）のフレームに分割した信号とする。ここで、ｎは分割された個々のフレームを識別するためのフレーム番号を示している。なお、以降の説明では（ｎ）を省略して単にｘｉｎ１のように示す場合がある。
　図２は信号補正部１の構成の一例を示すブロック図である。信号補正部１は、小信号パワー取得部３１～３Ｎ、補正量設定部４、補正部５１～５Ｎとで構成されている。小信号パワー取得部３は入力された入力信号ｘｉｎについて規定される第１のしきい値よりも値の小さい入力信号ｘｉｎのパワーを小信号パワーＰｍｉｎと定めて出力する。補正量設定部４は小信号パワー取得部３が出力する小信号パワーＰｍｉｎに基づいてそれぞれに対応する入力信号ｘｉｎを補正する補正量を決定する。補正部５は補正量設定部４で決定されたそれぞれの補正量に基づいて入力信号ｘｉｎを補正する。なお、ここではＮ個の小信号パワー取得部３１～３ＮをＮ個の入力信号ｘｉｎ１～ｘｉｎＮに対応して備えるようにしているが、１個のブロックが複数の入力信号を処理するように構成しても良い。これは補正部５１～５Ｎ等についても同様である。
　図３は小信号パワー取得部３の内部構成の一例を示すブロック図である。小信号パワー取得部３は入力信号ｘｉｎのパワーを計算するパワー計算部６、パワーの最小値の長期平均値を求める最小値追跡部７、パワーの最小値の長期平均値に基づいて第１のしきい値を計算するしきい値計算部８、入力信号ｘｉｎのパワーと第１のしきい値を比較し小信号パワーＰｍｉｎを出力する比較部９で構成されている。なお、小信号パワー取得部３１～３Ｎは同様の構成を有する。
　上述の信号補正部１および信号処理部２、また、信号補正部１を構成する小信号パワー取得部３、補正量設定部４、補正部５、小信号パワー取得部３を構成するパワー計算部６、最小値追跡部７、しきい値計算部８、比較部９は汎用プロセッサあるいはＤＳＰ（Digital Signal Processor）とＲＡＭ（Random Access Memory）などの周辺回路で構成されるハードウェアとプロセッサで実行されるソフトウェアで実現することが可能である。また、これらの各ブロックをＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアで実現することも可能である。
　次にこの実施の形態の集音装置の動作を説明する。図４はこの実施の形態の集音装置の処理フローを示すフローチャートである。
　最初に信号補正部１がマイクロホンアレー２０のマイクロホン２１１～２１Ｎが取得した音声あるいは音楽などの目的音、および暗騒音などの目的音以外の雑音を含む入力音の入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）を受信する（ＳＴ１００）。
　信号補正部１に入力された入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）を小信号パワー取得部３１～３Ｎが処理して、入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）のそれぞれの小信号パワーＰｍｉｎ１（ｎ）～ＰｍｉｎＮ（ｎ）を出力する。以下に図３および図４を参照して小信号パワー取得部３が行う処理の詳細を説明する。
　まず、小信号パワー取得部３のパワー計算部６が下式（１）により入力信号ｘｉｎ（ｎ）から入力信号の現在のフレームのパワーを計算して、入力信号パワーＰｉｎ（ｎ）を出力する（ＳＴ１０１）。式（１）においてｎはフレーム番号であり、ｔはフレーム内の離散時間を示す番号である。ｘｉｎ（ｎ，ｔ）は、入力信号ｘｉｎ（ｎ）についてフレームｎの時刻ｔの振幅を表している。なお、サンプリング周波数８ｋＨｚ、１０ミリ秒フレームである場合、Ｍ＝８０である。
Figure JPOXMLDOC01-appb-M000001
　パワー計算部６が出力した入力信号パワーＰｉｎ（ｎ）を受信した最小値追跡部７は入力信号パワーＰｉｎ（ｎ）の最小値（最小パワー）をトラッキングし、最小値の長期平均値を算出する（ＳＴ１０２）。具体的には、最小値追跡部７は下式（２）に従って入力信号パワーＰｉｎ（ｎ）の最小値の長期平均値Ｐｔｒ（ｎ）を算出する。最小値追跡部７は算出した長期平均値Ｐｔｒ（ｎ）をしきい値計算部８に出力する。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、αは忘却のための時定数であり、例えば下式（３）で与えられる。式（３）においてＰＮＰＯＷ＿ＴＨは予め規定しておくしきい値である。入力信号パワーＰｉｎ（ｎ）がＰＮＰＯＷ＿ＴＨよりも大きい場合には、忘却係数αを大きい値にして忘却速度を緩やかにする。このようにすると、入力信号ｘｉｎ（ｎ）に目的音である音声などの大きなパワーの成分が混入している場合に、入力信号パワーＰｉｎ（ｎ）の最小値の長期平均値Ｐｔｒ（ｎ）に目的音のパワーが影響することを抑制でき、入力信号パワーＰｉｎ（ｎ）の最小値のトラッキング精度を向上することができる。
Figure JPOXMLDOC01-appb-M000003
　次に、しきい値計算部８が下式（４）に従って入力された長期平均値Ｐｔｒ（ｎ）に規定された数値ＰＡＤＤ（ｎ）を加算して、入力信号ｘｉｎ（ｎ）の第１のしきい値である小信号パワーしきい値Ｐｔｈ（ｎ）を規定して出力する（ＳＴ１０３）。この実施の形態における数値ＰＡＤＤ（ｎ）の好適な一例は固定値の３ｄＢである。ただし、入力信号の補正が良好に行われるように、入力音の種類等に応じて例えばフレーム毎に適宜変更するようにしても良い。
Figure JPOXMLDOC01-appb-M000004
　次に、比較部９が下式（５）に従って入力信号パワーＰｉｎ（ｎ）と小信号パワーしきい値Ｐｔｈ（ｎ）とを比較し、入力信号ｘｉｎ（ｎ）の小信号パワーＰｍｉｎ（ｎ）を求めて出力する（ＳＴ１０４）。Ｐｉｎ（ｎ）がＰｔｈ（ｎ）を下回る場合にはＰｉｎ（ｎ）をＰｍｉｎ（ｎ）として出力する。一方、Ｐｉｎ（ｎ）がＰｔｈ（ｎ）以上である場合には前フレームの値であるＰｍｉｎ（ｎ－１）を出力する。
Figure JPOXMLDOC01-appb-M000005
　なお、比較部９は出力した入力信号ｘｉｎ（ｎ）の小信号パワーＰｍｉｎ（ｎ）を次のフレームの処理において使用するために記憶する。
　この実施の形態における小信号パワー取得部３の動作原理を図５および図６に示すグラフを用いて説明する。図５において（Ａ）は音声を取得した入力信号ｘｉｎの時間経過にともなう波形の変化を示し、（Ｂ）はその入力信号ｘｉｎのパワーの時間経過にともなう変化を示したものである。図５（Ｂ）において実線Ｂ１はパワー計算部６が算出した入力信号パワーＰｉｎを表している。また、太実線Ｂ２はしきい値計算部８が算出した小信号パワーしきい値Ｐｔｈである。図６は図５の（Ｂ）の一部を縦軸方向に拡大したグラフである。
　図５、図６に示した入力信号パワーＰｉｎが小信号パワーしきい値Ｐｔｈ以上である区間のフレームでは、入力信号パワーＰｉｎではなく前フレームの小信号パワーＰｍｉｎをそのフレームの小信号パワーＰｍｉｎとするので、目的音である音声が含まれた区間の入力信号パワーＰｉｎが小信号パワーＰｍｉｎに与える影響を抑制することができる。
　小信号パワー取得部３１～３Ｎのそれぞれが出力する小信号パワーＰｍｉｎ１（ｎ）～ＰｍｉｎＮ（ｎ）を受信した補正量設定部４は、各マイクロホン２１のゲインを補正するための補正量である補正ゲインｇ（ｎ）を算出して求める（ＳＴ１０５）。ここでは補正量の算出の一例として、マイクロホン２１１を基準にする例を説明する。なお、マイクロホン２１１を基準にするのではなく他のマイクロホン２１２～２１Ｎのいずれかを基準とするようにしても良い。例えば、あらかじめ目的音の音源の位置がわかっている場合に、もっとも音源に近いマイクロホン２１を基準にすることが可能である。なお、いずれかのマイクロホン２１を基準にすることで、補正量を求めるためのパワーの基準をあらかじめ定めておく必要をなくすことができる。
　補正量の算出について詳細を説明する。補正量設定部４はマイクロホン２１１に係る小信号パワーＰｍｉｎ１（ｎ）を基準にマイクロホン２１１～２１Ｎに係る小信号パワーＰｍｉｎ１（ｎ）～ＰｍｉｎＮ（ｎ）のそれぞれが同じレベルになるように、下式（６）に従って補正ゲインｇｍ（ｎ）を算出する。なお、ｍは１以上Ｎ以下の自然数である。
Figure JPOXMLDOC01-appb-M000006
　補正量設定部４は算出した補正ゲインｇ１（ｎ）～ｇＮ（ｎ）をそれぞれ補正部５１～５Ｎに出力する。補正ゲインｇ１（ｎ）～ｇＮ（ｎ）を受信した補正部５１～５Ｎは下式（７）により入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）を補正する（ＳＴ１０６）。ここでｍは１以上Ｎ以下の自然数である。なお、マイクロホン２１１を基準とした場合、式（６）によって入力信号ｘｉｎ１（ｎ）に対する補正ゲインｇ１（ｎ）は１．０となるので、ｘｉｎ１（ｎ）＝ｙｉｎ１（ｎ）である。補正部５は入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）を補正した信号（補正信号と称す）ｙｉｎ１（ｎ）～ｙｉｎＮ（ｎ）を信号処理部２へ出力する。
Figure JPOXMLDOC01-appb-M000007
　補正信号ｙｉｎ１（ｎ）～ｙｉｎＮ（ｎ）を受信した信号処理部２では、補正信号ｙｉｎ１（ｎ）～ｙｉｎＮ（ｎ）を用いて例えば遅延和法、最尤法などの公知の強調処理を行って出力信号を出力する（ＳＴ１０７）。
　上述のように、この実施の形態の集音装置によれば、マイクロホンアレーの各マイクロホンからのそれぞれの入力信号についてパワーの最小値をトラッキングしてそれぞれの入力信号のパワーの第１のしきい値である小信号パワーしきい値を規定し、この小信号パワーしきい値よりも値の小さい入力信号のパワーを小信号パワーと定め、小信号パワーに基づいて各マイクロホンからの入力信号を補正する補正量を算出するようにした。
　これにより、規定のしきい値よりもパワーの小さい入力信号に基づいて入力信号の補正を行うことができるので、集音対象の音に対して適切でない補正をする可能性を低減して、マイクロホンで取得した入力信号の補正を行うことができる。これは、マイクロホンの特性の違いを小さくするための入力信号の補正には例えば暗騒音などのような無指向性の音が適しており、パワーの小さい入力信号は拡散した無指向性の音の信号とみなせるためである。
　また、マイクロホンからの入力信号のパワーの最小値をトラッキングして第１のしきい値を規定しているので、あらかじめこのしきい値を決定しておく必要が無く、集音装置の使用環境に柔軟に対応してマイクロホン間の特性の差を補正することが可能である。
実施の形態２．
　実施の形態１では、入力信号のパワーの最小値（最小パワー）に応じた制御を行っているが、入力信号の様態を分析して補正の精度を向上させることも可能である。
　図７は、この発明の実施の形態２に係る集音装置の信号補正部１ｂの構成を示すブロック図である。なお、実施の形態２の集音装置の全体の構成は実施の形態１と同様である。図７において実施の形態１と異なるのは、入力信号を分析する信号判定部１０を備え、信号判定部１０の分析結果が小信号パワー取得部３ｂに入力されるようにしたことである。
　なお、信号判定部１０は他のブロックと同様にプロセッサおよびプロセッサで実行されるプログラムで実現したり、ＡＳＩＣ等のハードウェアで実現したりすることが可能である。
　この実施の形態の集音装置の動作を実施の形態１との差分を中心に説明する。信号補正部１ｂは実施の形態１と同様に入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）を受信する。この実施の形態ではまず、信号判定部１０が受信した入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）を分析する。そして、信号判定部１０は受信した入力信号ｘｉｎ１が例えば音声か雑音かの判定を行い、その結果を判定情報として小信号パワー取得部３ｂに出力する。なお、入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）を分析する方法としては例えば自己相関分析などの方法を用いれば良い。小信号パワー取得部３ｂでは、入力された判定情報に基づいて、例えば入力信号が雑音でない場合には最小パワーのトラッキングを停止し、雑音と判定された場合に最小パワーのトラッキングをするようにする。これ以外の処理は実施の形態１と同様である。
　この実施の形態によれば、入力信号の様態を分析した結果を用いて最小パワーのトラッキングの処理を制御することで、より精度の高いトラッキングが可能になり、精密なゲイン補正をすることが可能となる。これは、入力信号に音声が頻繁に混入したりする場合や、あるいはマイクロホンが叩かれるなどで高レベルの雑音が混入する場合などで特に有効である。
実施の形態３．
　実施の形態１では、入力信号の全周波数帯域の最小パワーに応じた制御を行っているが、入力信号を周波数領域に変換し、入力信号のスペクトル成分毎、あるいは帯域毎に補正を細分化することで、更にきめ細やかな補正を行うことも可能である。
　図８はこの発明の実施の形態３に係る集音装置の信号補正部１ｃの構成を示すブロック図である。なお、実施の形態３の集音装置の全体の構成は実施の形態１と同様である。図８において実施の形態１と異なるのは、入力信号に対して高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）処理を行うＦＦＴ部（スペクトル変換部）１１と、補正後の信号に対して逆ＦＦＴ（ＩＦＦＴ：Inverse FFT）処理を行うＩＦＦＴ部（スペクトル逆変換部）１２を備えていることである。その他の構成については図２と同様であるが、小信号パワー抽出部３ｃ、補正量設定部４ｃ、補正部５ｃはスペクトルを処理対象とする。
　なお、ＦＦＴ部１１、ＩＦＦＴ部１２は他のブロックと同様にプロセッサとプロセッサで実行されるプログラムで実現したり、ＡＳＩＣ等のハードウェアで実現したりすることが可能である。
　次にこの実施の形態の集音装置の動作を実施の形態１との差分を中心に説明する。なお、ＦＦＴ処理およびＩＦＦＴ処理は公知の技術であるので詳細な説明を省略する。この実施の形態の信号補正部１ｃでは、まずＦＦＴ部１１が入力された入力信号ｘｉｎ（ｎ）対してＦＦＴ処理を行う。具体的には下式（８）に示すＦＦＴ分析を行って入力信号ｘｉｎ（ｎ）をパワースペクトルＸｉｎ（ｎ，ｋ）に変換する。ここで、ＦＦＴ（・）はＦＦＴ分析を表し、Ｋはこの処理によって求まるパワースペクトルの総数、kは求めたパワースペクトルに付される０からＫ－１までの番号（スペクトル番号）である。なお、図８ではスペクトル番号の表記を省略している。
Figure JPOXMLDOC01-appb-M000008
　小信号パワー取得部３ｃは、ＦＦＴ部１１が出力したパワースペクトルＸｉｎ（ｎ，ｋ）を受信すると、前述の実施の形態１と同様の方法により、スペクトル毎に第２のしきい値であるパワースペクトルのしきい値を求めて、このしきい値に基づいて小信号パワースペクトルＸｍｉｎ（ｎ，ｋ）を定めて出力する。
　次に、補正量設定部４ｃは入力信号ｘｉｎ１（ｎ）～ｘｉｎＮ（ｎ）のそれぞれに対応する小信号パワースペクトルＸｍｉｎ１（ｎ，ｋ）～ＸｍｉｎＮ（ｎ，ｋ）を用いて、実施の形態１と同様の方法でスペクトル毎の補正量であるスペクトル補正ゲインＧ１（ｎ，ｋ）～ＧＮ（ｎ，ｋ）を算出する。
　次に、補正部５ｃは対応する入力信号ｘｉｎ（ｎ）のパワースペクトルＸｉｎ（ｎ，ｋ）に対してスペクトル毎に下式（９）により補正を行う。ここで、ｍは１以上Ｎ以下の自然数である。
Figure JPOXMLDOC01-appb-M000009
　そして、ＩＦＦＴ部１２がそれぞれ対応する補正後のパワースペクトルＹｉｎ１（ｎ，ｋ）～ＹｉｎＮ（ｎ，ｋ）をＩＦＦＴ処理により時間領域の信号に再変換して補正信号ｙｉｎ１（ｎ）～ｙｉｎＮ（ｎ）を信号処理部２へ出力する。以降の処理は実施の形態１と同様である。
　この実施の形態３によれば、入力信号ｘｉｎ（ｎ）をＦＦＴ処理して求めたパワースペクトル毎に補正量を算出して補正を行うようにしたので、入力信号全体ではなくスペクトル成分毎あるいは帯域毎に周波数特性と振幅を揃えることができ、より精密な補正を行うことができる。
　また、上述の実施の形態３の変形例として、図９に示すように実施の形態２と同様の入力信号の分析を入力信号のスペクトルに対して行う信号判定部１０ｄを備えて、信号判定部１０ｄが出力する判定情報を用いて小信号パワー取得部３ｄが実施の形態２と同様の処理をするように構成することも可能である。
実施の形態４．
　上述の実施の形態１から実施の形態３で説明した集音装置を、自動車や船舶等の移動機器に搭載される経路案内装置やあるいは通話装置などを備えた移動機器情報システムに組み込んだ実施の形態を説明する。なお、以下では車載情報システムを移動機器情報システムの例として説明する。
　図１０はこの実施の形態に係る車載情報システムの構成の一例を示すブロック図である。この実施の形態の車載情報システムは、上述の実施の形態１から３のいずれかに係る集音装置１００と、経路案内装置１０１、音声認識装置１０２、通話装置１０３、能動消音装置１０４、マイクロホンアレー２０、表示装置１０５、通信装置１０６、スピーカ１０７を備えている。なお、図１０に示した構成は一例でありこの他にもさまざまな装置を組み合わせることが可能である。
　次にこの車載情報システムの動作を説明する。マイクロホンアレー２０は取得した音の信号を集音装置１００に入力する。集音装置１００は実施の形態１から実施の形態３で説明したいずれかの動作を行い、出力信号を出力する。集音装置１００が出力した出力信号を音声認識装置１０２、通話装置１０３、能動消音装置１０４が受信する。
　音声認識装置１０２は受信した集音装置１００の出力信号について音声認識処理を行い利用者が発した指示等を経路案内装置１０１あるいは通話装置１０３に出力する。音声認識装置１０２からの指示を受信した経路案内装置１０１は指定された経路案内の処理を実施して、経路案内画像を表示装置１０５によって表示したり、経路案内音声等をスピーカ１０７から出力したりする。
　また、音声認識装置１０２からの指示を受信した通話装置１０３は通信装置１０６を制御する。例えば通話開始の指示であった場合、通話装置１０３は通信装置１０６が通信相手との通信回線を接続するように制御する。そして集音装置１００から受信した出力信号を通信装置１０６に出力する。通信装置１０６は通信回線を介して通信相手と通信を行い、受信した信号を通話装置１０３に出力する。通話装置１０３は通信装置１０６から受信した信号をスピーカ１０７から出力する。
　また、能動消音装置１０４は、集音装置１００から受信した出力信号を用いて車室内の環境騒音を予測し、その環境騒音を打ち消す音響信号を生成して、スピーカ１０７から出力し、車室内の騒音を低減させる。
　上述のようにこの実施の形態によれば、車載情報システムの集音装置１００はマイクロホンに到来する音を用いて、集音対象の音に対して適切でない補正をする可能性を低減して、マイクロホンで取得した信号の補正を行うことができるので、良好な出力信号を得ることが可能である。これにより、車載情報システムが備える装置が行うマイクロホンで取得した音声などの音を用いて行う処理の性能を向上することができる。
　以上のように、この発明の集音装置もしくは集音方法は、マイクロホンアレーが取得した音の信号を、集音する目的音を必要せずにマイクロホン間の特性の差異が小さくなるように補正することで良好な集音した音の信号を生成できるので、カーナビゲーションシステムといった車載情報システムなどの集音した音に基づいて処理を実施するシステムにおいて有用である。
　１，１ｂ，１ｃ，１ｄ　信号補正部、２　信号処理部、３，３ｂ，３ｃ，３ｄ　小信号パワー取得部、４，４ｃ　補正量設定部、５、５ｃ　補正部、６　パワー計算部、７　最小値追跡部、８　しきい値計算部、９　比較部、１０，１０ｄ　信号判定部、１０　ＦＦＴ部（スペクトル変換部）、１１　ＩＦＦＴ部（スペクトル逆変換部）、２０　マイクロホンアレー、２１　マイクロホン、１００　集音装置、１０１　経路案内装置、１０２　音声認識装置、１０３　通話装置、１０４　能動消音装置、１０５　表示装置、１０６　通信装置、１０７　スピーカ。

Claims (8)

  1. 　複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定される第１のしきい値よりも値の小さい前記入力信号のパワーをその入力信号の小信号パワーとする小信号パワー取得部と、
    　前記複数の入力信号を補正するためのそれぞれの補正量を前記入力信号のそれぞれの前記小信号パワーに基づいて求める補正量設定部と、
    　前記複数の入力信号を補正するためのそれぞれの前記補正量に基づいて前記入力信号をそれぞれ補正する補正部と、
    　を備えることを特徴とする集音装置。
  2. 　前記小信号パワー抽出部は、前記複数の入力信号のそれぞれについて、前記入力信号のパワーの最小値の長期平均値に基づいて前記第１のしきい値を規定することを特徴とする請求項１に記載の集音装置。
  3. 　前記補正量設定部は、前記複数の入力信号のそれぞれの前記小信号パワーのうちのいずれか一つを基準とし、前記複数の入力信号を補正するためのそれぞれの前記補正量を、当該補正量で補正される前記入力信号の前記小信号パワーと前記基準とした小信号パワーに基づいて求めることを特徴とする請求項１または請求項２に記載の集音装置。
  4. 　前記入力信号を周波数領域の信号であるスペクトルに変換するスペクトル変換部と、
    　周波数領域の信号であるスペクトルを時間領域の信号に変換するスペクトル逆変換部と、を備え、
    　前記小信号パワー取得部は前記スペクトル変換部で変換された前記入力信号のスペクトルについて規定される第２のしきい値よりも小さい前記入力信号のパワースペクトルをその入力信号の小信号パワースペクトルとし、
    　前記補正量設定部は前記入力信号の前記小信号パワースペクトルに基づいて当該入力信号のスペクトルを補正するための補正量を求め、
    　前記補正部は前記入力信号のスペクトルを前記補正量設定部で求められた当該入力信号のスペクトルを補正するための補正量に基づいて補正し、
    　前記スペクトル逆変換部は前記補正部において補正された前記入力信号のスペクトルを時間領域の信号に変換することを特徴とする請求項１から請求項３のいずれか一項に記載の集音装置。
  5. 　前記入力信号を分析して当該入力信号の状態を判定した判定情報を出力する信号判定部を備え、
    　前記小信号パワー取得部は前記判定情報を用いて前記小信号パワーまたは小信号パワースペクトルを取得する処理を実施することを特徴とする請求項１から請求項４のいずれか一項に記載の集音装置。
  6. 　複数のマイクロホンで取得された複数の入力信号から集音する対象の音の信号を生成する集音装置における前記入力信号の補正方法であって、
    　規定されたしきい値よりも小さい前記入力信号のパワーをその入力信号の小信号パワーとするステップと、
    　前記入力信号を補正するためのそれぞれの補正量を当該入力信号の前記小信号パワーに基づいて求めるステップと、
    　前記入力信号のそれぞれをその入力信号を補正するための前記補正量に基づいて補正するステップと、
    　を備えることを特徴とする集音装置の入力信号補正方法。
  7. 　前記複数の入力信号のそれぞれの前記パワーを計算するステップと、
    　前記複数の入力信号のそれぞれについて前記パワーの最小値の長期平均値を求めるステップと、
    　前記複数の入力信号のそれぞれの前記長期平均値に基づいてその長期平均値に対応する前記入力信号の前記しきい値をそれぞれ規定するステップと、
    　を備えることを特徴とする請求項６に記載の集音装置の入力信号補正方法。
  8. 　複数のマイクロホンで取得された複数の入力信号のそれぞれについて、規定されるしきい値よりも値の小さい前記入力信号のパワーをその入力信号の小信号パワーとし、それぞれのこの小信号パワーに基づいてその小信号パワーに対応する前記入力信号を補正するための補正量を求め、それぞれのこの補正量に基づいて前記複数の入力信号をそれぞれ補正した信号を用いて集音対象の音を強調した出力信号を生成する集音装置と、
    　前記集音装置が出力した前記出力信号の音声認識結果に基づいて処理を行う経路案内装置、または前記出力信号を用いる通話装置、または前記出力信号を用いる能動消音装置の少なくともいずれか一つを備えることを特徴とする移動機器情報システム。
PCT/JP2014/000412 2014-01-28 2014-01-28 集音装置、集音装置の入力信号補正方法および移動機器情報システム Ceased WO2015114674A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015559605A JP6048596B2 (ja) 2014-01-28 2014-01-28 集音装置、集音装置の入力信号補正方法および移動機器情報システム
PCT/JP2014/000412 WO2015114674A1 (ja) 2014-01-28 2014-01-28 集音装置、集音装置の入力信号補正方法および移動機器情報システム
US15/025,975 US9674607B2 (en) 2014-01-28 2014-01-28 Sound collecting apparatus, correction method of input signal of sound collecting apparatus, and mobile equipment information system
DE112014006281.2T DE112014006281T5 (de) 2014-01-28 2014-01-28 Tonsammelvorrichtung, Korrekturverfahren für Eingangssignal von Tonsammelvorrichtung und Mobilgeräte-Informationssystem
CN201480068414.6A CN105830152B (zh) 2014-01-28 2014-01-28 集音装置、集音装置的输入信号校正方法以及移动设备信息系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/000412 WO2015114674A1 (ja) 2014-01-28 2014-01-28 集音装置、集音装置の入力信号補正方法および移動機器情報システム

Publications (1)

Publication Number Publication Date
WO2015114674A1 true WO2015114674A1 (ja) 2015-08-06

Family

ID=53756307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000412 Ceased WO2015114674A1 (ja) 2014-01-28 2014-01-28 集音装置、集音装置の入力信号補正方法および移動機器情報システム

Country Status (5)

Country Link
US (1) US9674607B2 (ja)
JP (1) JP6048596B2 (ja)
CN (1) CN105830152B (ja)
DE (1) DE112014006281T5 (ja)
WO (1) WO2015114674A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188762A (ja) * 2016-04-05 2017-10-12 日本電信電話株式会社 レベル差補正装置、レベル差補正方法、レベル差補正プログラム、および記録媒体
JP2018031897A (ja) * 2016-08-24 2018-03-01 富士通株式会社 利得調整装置、利得調整方法および利得調整プログラム
JP2021145324A (ja) * 2020-03-10 2021-09-24 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 収音音量制御方法、装置及び記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107509155B (zh) * 2017-09-29 2020-07-24 广州视源电子科技股份有限公司 一种阵列麦克风的校正方法、装置、设备及存储介质
EP4156719A1 (en) * 2021-09-28 2023-03-29 GN Audio A/S Audio device with microphone sensitivity compensator

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02272836A (ja) * 1989-04-14 1990-11-07 Oki Electric Ind Co Ltd 音声区間検出方式
JPH07152397A (ja) * 1993-11-29 1995-06-16 Sony Corp 音声区間検出方法、並びに音声通信装置および音声認識装置
JPH10301600A (ja) * 1997-04-30 1998-11-13 Oki Electric Ind Co Ltd 音声検出装置
JP2000250568A (ja) * 1999-02-26 2000-09-14 Kobe Steel Ltd 音声区間検出装置
JP2010139571A (ja) * 2008-12-09 2010-06-24 Fujitsu Ltd 音声加工装置及び音声加工方法
JP2010232717A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 受音信号処理装置、方法およびプログラム
JP2010250152A (ja) * 2009-04-17 2010-11-04 Secom Co Ltd 発声検出装置
JP2011124873A (ja) * 2009-12-11 2011-06-23 Oki Electric Industry Co Ltd 音源分離装置、方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10139571A (ja) * 1996-11-05 1998-05-26 Seibu Trading:Kk 陶磁器の絵付方法
JP3540988B2 (ja) 2000-07-17 2004-07-07 日本電信電話株式会社 発音体指向性補正方法およびその装置
JP2002099297A (ja) 2000-09-22 2002-04-05 Tokai Rika Co Ltd マイクロフォン装置
FR2824978B1 (fr) * 2001-05-15 2003-09-19 Wavecom Sa Dispositif et procede de traitement d'un signal audio
JP2002354576A (ja) * 2001-05-25 2002-12-06 Sony Corp ノイズキャンセラー装置及びノイズキャンセル方法
EP1453348A1 (de) 2003-02-25 2004-09-01 AKG Acoustics GmbH Selbstkalibrierung von Arraymikrofonen
KR20070050058A (ko) * 2004-09-07 2007-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 향상된 잡음 억제를 구비한 전화통신 디바이스
JP4262703B2 (ja) * 2005-08-09 2009-05-13 本田技研工業株式会社 能動型騒音制御装置
EP1931169A4 (en) * 2005-09-02 2009-12-16 Japan Adv Inst Science & Tech Post filter for microphone array
US8275120B2 (en) * 2006-05-30 2012-09-25 Microsoft Corp. Adaptive acoustic echo cancellation
JP5070993B2 (ja) * 2007-08-27 2012-11-14 富士通株式会社 音処理装置、位相差補正方法及びコンピュータプログラム
JP4886715B2 (ja) * 2007-08-28 2012-02-29 日本電信電話株式会社 定常率算出装置、雑音レベル推定装置、雑音抑圧装置、それらの方法、プログラム及び記録媒体
US8411880B2 (en) * 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones
CN102044243B (zh) * 2009-10-15 2012-08-29 华为技术有限公司 语音激活检测方法与装置、编码器
CN101867853B (zh) * 2010-06-08 2014-11-05 中兴通讯股份有限公司 基于传声器阵列的语音信号处理方法及装置
JP5110614B2 (ja) * 2010-12-20 2012-12-26 株式会社日本製鋼所 狭帯域能動騒音制御方法および狭帯域能動騒音制御装置
DE112011104737B4 (de) * 2011-01-19 2015-06-03 Mitsubishi Electric Corporation Geräuschunterdrückungsvorrichtung
FR2976710B1 (fr) * 2011-06-20 2013-07-05 Parrot Procede de debruitage pour equipement audio multi-microphones, notamment pour un systeme de telephonie "mains libres"
CN103440872B (zh) * 2013-08-15 2016-06-01 大连理工大学 瞬态噪声的去噪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02272836A (ja) * 1989-04-14 1990-11-07 Oki Electric Ind Co Ltd 音声区間検出方式
JPH07152397A (ja) * 1993-11-29 1995-06-16 Sony Corp 音声区間検出方法、並びに音声通信装置および音声認識装置
JPH10301600A (ja) * 1997-04-30 1998-11-13 Oki Electric Ind Co Ltd 音声検出装置
JP2000250568A (ja) * 1999-02-26 2000-09-14 Kobe Steel Ltd 音声区間検出装置
JP2010139571A (ja) * 2008-12-09 2010-06-24 Fujitsu Ltd 音声加工装置及び音声加工方法
JP2010232717A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 受音信号処理装置、方法およびプログラム
JP2010250152A (ja) * 2009-04-17 2010-11-04 Secom Co Ltd 発声検出装置
JP2011124873A (ja) * 2009-12-11 2011-06-23 Oki Electric Industry Co Ltd 音源分離装置、方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188762A (ja) * 2016-04-05 2017-10-12 日本電信電話株式会社 レベル差補正装置、レベル差補正方法、レベル差補正プログラム、および記録媒体
JP2018031897A (ja) * 2016-08-24 2018-03-01 富士通株式会社 利得調整装置、利得調整方法および利得調整プログラム
JP2021145324A (ja) * 2020-03-10 2021-09-24 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 収音音量制御方法、装置及び記憶媒体
US11272307B2 (en) 2020-03-10 2022-03-08 Beijing Xiaomi Pinecone Electronics Co., Ltd. Method and device for controlling recording volume, and storage medium
JP7045423B2 (ja) 2020-03-10 2022-03-31 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 収音音量制御方法、装置及び記憶媒体

Also Published As

Publication number Publication date
JP6048596B2 (ja) 2016-12-21
US9674607B2 (en) 2017-06-06
US20160241954A1 (en) 2016-08-18
JPWO2015114674A1 (ja) 2017-03-23
CN105830152A (zh) 2016-08-03
DE112014006281T5 (de) 2016-10-20
CN105830152B (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
KR100883712B1 (ko) 음원 방향 추정 방법, 및 음원 방향 추정 장치
JP4916394B2 (ja) エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
EP2773137B1 (en) Microphone sensitivity difference correction device
JP4912036B2 (ja) 指向性集音装置、指向性集音方法、及びコンピュータプログラム
CN1122963C (zh) 用于测量多个传感器处的信号电平和延迟的方法与装置
US8615092B2 (en) Sound processing device, correcting device, correcting method and recording medium
JP6048596B2 (ja) 集音装置、集音装置の入力信号補正方法および移動機器情報システム
KR20100057658A (ko) 자동화된 센서 신호 매칭
JP6668995B2 (ja) 雑音抑圧装置、雑音抑圧方法及び雑音抑圧用コンピュータプログラム
JP2014137414A (ja) 雑音抑圧装置、方法、及びプログラム
CN115691532B (zh) 风噪声污染范围估算方法及抑制方法、装置、介质、终端
CN113299316B (zh) 估计声音信号的直接混响比
US11984132B2 (en) Noise suppression device, noise suppression method, and storage medium storing noise suppression program
JP6840302B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP2016152422A (ja) 音場補正装置、音場補正方法及び音場補正プログラム
JP2016042613A (ja) 目的音声区間検出装置、目的音声区間検出方法、目的音声区間検出プログラム、音声信号処理装置及びサーバ
JP2010124370A (ja) 信号処理装置、信号処理方法、および信号処理プログラム
JP2007047427A (ja) 音声処理装置
JP6903947B2 (ja) 非目的音抑圧装置、方法及びプログラム
JP6711205B2 (ja) 音響信号処理装置、プログラム及び方法
JP6638248B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声信号処理装置
JP2017067844A (ja) 音声判定装置、方法及びプログラム、並びに、音声処理装置
JP5228903B2 (ja) 信号処理装置および方法
JP3540988B2 (ja) 発音体指向性補正方法およびその装置
JP2010152107A (ja) 目的音抽出装置及び目的音抽出プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015559605

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14881221

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15025975

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014006281

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14881221

Country of ref document: EP

Kind code of ref document: A1