WO2016194945A1 - 集音装置、及び集音装置の制御方法 - Google Patents
集音装置、及び集音装置の制御方法 Download PDFInfo
- Publication number
- WO2016194945A1 WO2016194945A1 PCT/JP2016/066181 JP2016066181W WO2016194945A1 WO 2016194945 A1 WO2016194945 A1 WO 2016194945A1 JP 2016066181 W JP2016066181 W JP 2016066181W WO 2016194945 A1 WO2016194945 A1 WO 2016194945A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- speaker
- microphone array
- voice
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers
- H04R3/005—Circuits for transducers for combining the signals of two or more microphones
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47C—CHAIRS; SOFAS; BEDS
- A47C7/00—Parts, details, or accessories of chairs or stools
- A47C7/36—Supports for the head or the back
- A47C7/38—Supports for the head or the back for the head, e.g. detachable
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/80—Head-rests
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47C—CHAIRS; SOFAS; BEDS
- A47C7/00—Parts, details, or accessories of chairs or stools
- A47C7/62—Accessories for chairs
- A47C7/72—Adaptations for incorporating lamps, radio sets, bars, telephones, ventilation, heating or cooling arrangements or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/90—Details or parts not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Definitions
- the present invention relates to a sound collector that can control the directivity of a microphone array in which a plurality of microphones are arranged, and a method for controlling the sound collector.
- an in-vehicle device that mounts a microphone on a dashboard, a ceiling, a handle, etc. of a car and performs hands-free calling and voice recognition.
- This type of sound collecting device (hereinafter referred to as sound collecting device) is equipped with a microphone array in which a plurality of microphones are arranged in order to further improve the performance, and the directivity of the microphone array is controlled by beam forming control.
- the position detector which detects the position of the head of the speaker in a motor vehicle based on the position of the rear-view mirror or seat with which the motor vehicle was equipped is provided, the position of the detected head, and each microphone The directivity calculation process is performed on the basis of the position.
- the conventional configuration requires a position detector that physically detects the position of the rearview mirror or the seat, and tends to increase or decrease the number of parts and make the structure complicated.
- the present invention has been made in view of the circumstances described above, and controls a sound collector and a sound collector that can easily acquire the voice of a speaker with high accuracy while suppressing the reduction in the number of parts and the complexity of the structure. It aims to provide a method.
- the present invention provides a determination unit that determines whether or not the first state in which the voice of a speaker is acquired in a sound collector that can control the directivity of a microphone array in which a plurality of microphones are arranged.
- the microphone array directivity is set to the outside of the speaker or omnidirectional to obtain the input sound of the microphone array, and the first state
- a control unit that directs the directivity of the microphone array toward the speaker.
- the microphone array is disposed behind the speaker, and the control unit sets the directivity of the microphone array in a range from the back of the speaker to the neck in the first state. You may do it.
- control unit acquires ambient noise based on the input sound acquired in the second state, and removes the ambient noise from the input sound of the microphone array in the first state. You may make it perform the noise removal process to perform.
- the sound collection device includes a sound output unit that outputs sound via a predetermined speaker, and as an operation mode, an utterance mode for acquiring the voice of the speaker, and the speaker via the speaker.
- a call mode for outputting voice and acquiring the voice of the speaker may be provided, and the second state may include the speech mode and a state in which the voice of the speaker in the call mode is not acquired.
- the operation mode includes a position specifying mode for acquiring a reflected sound output from the speaker and reflected by the speaker, and specifying the position of the speaker based on the reflected sound
- the second state includes a state of the position specifying mode, and in the first state, the directivity of the microphone array may be controlled according to the position of the speaker specified in the position specifying mode.
- the sound output unit outputs an ultrasonic signal from the speaker to obtain a reflected sound in the sound output mode in which sound is output through the speaker, and obtains the reflected sound. Based on this, position specifying processing for specifying the position of the speaker may be performed.
- the microphone array and the speaker may be arranged in a casing arranged behind the speaker.
- the housing may be a headrest.
- a method for controlling a sound collecting device capable of controlling the directivity of a microphone array in which a plurality of microphones are arranged.
- the directivity of the microphone array is set outside the speaker or omnidirectional to obtain the input sound of the microphone array, and in the first state, Directing the directivity of the microphone array to the speaker.
- the directivity of the microphone array is set outside the speaker or omnidirectional.
- the directivity of the microphone array is directed to the speaker, so that the directivity of the microphone array is outside the speaker or omnidirectional.
- ambient noise and speaker position information which are information useful for speech processing during speech, based on the input speech when set to.
- voice processing such as removal of ambient noise and directivity control at the time of speech, and a dedicated position detector or the like is unnecessary. Therefore, it becomes easy to acquire the voice of the speaker with high accuracy while suppressing the reduction in the number of parts and the complexity of the structure.
- FIG. 1 is a diagram illustrating a usage example of the headrest device according to the first embodiment.
- FIG. 2 is a perspective view of the headrest device.
- FIG. 3 is a side sectional view of the headrest device.
- FIG. 4 is a view of the headrest device as seen from above with the occupant's head.
- FIG. 5 is a block diagram showing an electrical configuration of the voice input / output unit.
- FIG. 6 is a flowchart showing control related to the directivity of the microphone array.
- FIG. 7 is a flowchart showing the control in the head position measurement mode.
- FIG. 8 is a flowchart showing the control in the audio playback mode.
- FIG. 9 is a flowchart showing control in the speech mode.
- FIG. 10 is a flowchart showing control in the call mode.
- FIG. 1 is a diagram illustrating a usage example of the headrest device 11 according to the first embodiment.
- FIG. 2 is a perspective view of the headrest device 11
- FIG. 3 is a side sectional view of the headrest device 11.
- the front of each direction based on the occupant M is indicated by a reference symbol F
- the upper part is indicated by a reference symbol U
- the left side is indicated by a reference symbol L.
- the headrest device 11 is installed on an occupant seat 12 provided in a vehicle (automobile in the present embodiment) and is seated on the occupant seat 12 (driver in the present embodiment).
- this headrest apparatus 11 functions as a headrest arranged behind the M head MH.
- this headrest apparatus 11 is employable not only for a motor vehicle but for various vehicles, such as an airplane, a ship, and a train.
- the headrest device 11 is not limited to being used in a vehicle, but can also be applied to furniture used in offices and houses such as office chairs and sofas. In short, the headrest device 11 can be widely applied to devices including headrests. .
- the headrest device 11 includes a hollow housing 13 that forms the outer shape of the headrest device 11 and a pair of left and right headrest stays 14 that extend downward from the housing 13.
- the casing 13 accommodates a cushion material (not shown) for shock reduction and a voice input / output unit 21.
- the audio input / output unit 21 includes a pair of left and right speakers 22, a plurality of microphones (hereinafter referred to as microphones) 23, and a circuit board 24, and audio is transmitted through the speakers 22 under the control of the circuit board 24. And external sound is input (collected) through the microphone 23.
- the headrest device 11 has a voice input / output function.
- the voice input / output unit 21 is formed in a thin shape that is short in the front-rear direction and is accommodated in the front space of the housing 13.
- the voice input / output unit 21 can be easily accommodated in variously shaped headrests (that is, variously shaped casings 13).
- the housing 13 is movable up and down via the headrest stay 14 and tiltable back and forth with respect to the headrest stay 14 (the tilting direction is indicated by an arrow K in FIG. 3).
- the position of the housing 13 can be appropriately adjusted according to the position of the head MH of the occupant M.
- the pair of left and right speakers 22 are arranged on the front plate portion 13 ⁇ / b> A of the housing 13 with a space left and right, and outputs sound toward the front.
- These speakers 22 are vertically long speakers that are long in the vertical direction.
- a voice can be output toward the head MH of the occupant M.
- the headrest device 11 is moved up and down, even if the position of the head MH varies depending on the physique of the occupant M, sound can be output toward the head MH of the occupant M.
- the plurality of microphones 23 are disposed between the left and right speakers 22 and are provided so as to collect sound at least in front of the headrest.
- a circuit board 24 is disposed behind the microphones 23 and between the left and right speakers 22. In this way, the microphone 23, the circuit board 24, and the speaker 22 are arranged in a compact manner, and the overall size is reduced.
- the microphone 23 is attached to the circuit board 24, but the microphone 23 may be provided separately from the circuit board 24.
- the voice input / output unit 21 is accommodated in the front space of the housing 13, the layout with the speakers 22 and the microphones 23 facing forward can be maintained even if the angle of the housing 13 changes.
- FIG. 4 is a view of the headrest device 11 as viewed from above with the head MH of the occupant M.
- the sound of the pair of left and right speakers 22 is efficiently output toward the left and right ears of the occupant M. be able to.
- a plurality (two in this configuration) of microphones 23 are arranged at the same height with a space left and right, and collect sounds from the front of the headrest. These microphones 23 themselves are omnidirectional microphones, and can collect a wide range of ambient sounds including the voice of the occupant M.
- the voice of the vocal cords comes out backward through the skin in the range from the back of the occupant M to the neck (cervical vertebra), and the voice of the occupant M is accurately obtained by collecting this sound. Can collect sound.
- the microphones 23 of the present embodiment are arranged at an interval on the left and right, sounds from the left and right can be collected with different phases, and the left and right sounds are easily discriminated.
- the opening 23 ⁇ / b> K in front of the microphone 23 (the microphone opening) 23 ⁇ / b> K becomes more forward so as not to be affected even if the installation angle of the audio input / output unit 21 or the angle adjustment position of the headrest is changed. It is formed in a mortar-like opening shape that expands in diameter. As a result, regardless of the layout and headrest adjustment angle of the voice input / output unit 21, it becomes easier to pick up the voice of the occupant M, which is emitted backward between the back of the occupant M and the neck, to various vehicle types. Easy to deploy.
- the left and right ends of the headrest device 11 have a sound cut structure that does not pass sound. Thereby, the sound leaked from the left and right speakers 22 to the rear or the like is cut, and the influence on the sound entering the microphone 23 can be suppressed.
- sound cut structures such as providing a sound-absorbing material behind the speaker 22, as a sound cut structure.
- FIG. 5 is a block diagram showing an electrical configuration of the voice input / output unit 21.
- the circuit board 24 is configured by mounting connectors 31 and 32, a DC-DC converter 33, a communication unit 34, an audio processing unit 35, an amplifier 36, and a remote control 37.
- a vehicle power supply 41 is supplied to the connector 31 and an operation signal of the operation unit 42 operated by the occupant M is input to the connector 31.
- the microphones 23 are connected to the other connectors 32, respectively.
- the DC-DC converter 33 converts the electric power from the vehicle power supply 41 into a predetermined electric power and supplies it to each part of the voice input / output unit 21.
- the communication unit 34 functions as a communication device that communicates with other devices (not shown).
- the communication unit 34 performs short-range wireless communication according to a communication standard such as Bluetooth (registered trademark).
- the communication unit 34 outputs the reception result to the sound processing unit 35 and transmits the microphone sound input via the sound processing unit 35 to another device.
- the communication is not limited to wireless communication but may be wired communication.
- Other devices are, for example, a mobile phone (including a smartphone), a tablet terminal, a car audio, a car navigation device, and the like.
- the audio processing unit 35 is configured by an acoustic DSP (Digital Signal Pocessor) provided with a microphone amplifier.
- the sound processing unit 35 executes a control program stored in advance, thereby determining a current operation state (operation mode, etc.), a control unit that controls each unit of the sound input / output unit 21, and It functions as an arithmetic processing unit that performs various arithmetic processes, an audio amplifying unit that amplifies input audio from each microphone 23, and the like.
- the voice processing unit 35 and the communication unit 34 realize a linkage process between another device and the voice input / output unit 21.
- the arithmetic processing performed by the sound processing unit 35 includes beam forming control (calculation) processing for microphone input, reproduction output control (including arithmetic processing for thinning out speaker output) according to the noise level of the microphone input, and head position measurement mode. Test tone output, microphone input, distance calculation processing, microphone speech recognition processing, etc.
- the beam forming control process is a process for controlling the directivity of the microphone array 23 ⁇ / b> A having a plurality of microphones 23. More specifically, the sound from a specific direction is emphasized or reduced based on the difference in sound wave propagation from the sound source to each microphone 23. For example, there are multiple types of directional patterns, and by switching patterns or changing parameters of each pattern, the occupant M's voice is switched to a directional pattern that collects sound with high accuracy, or surrounding voices (noise, etc.) Switch to a directional pattern that collects sound with high accuracy.
- the reproduction output control according to the noise level of the microphone input is a process for controlling the volume or controlling the frequency so as to reduce the influence of ambient noise.
- microphone arrays 23A when it is not necessary to distinguish the microphones 23 from each other, they are referred to as microphone arrays 23A.
- the head position measurement mode is a mode in which a test signal is output from the speaker 22 and the position of the head MH of the occupant M is measured based on the reflected sound collected by the microphone array 23A.
- a position specifying process for calculating a separation distance L1 (see FIG. 4) between the head MH of the occupant M and the microphone array 23A is performed.
- This separation distance L1 is used when the directivity of the microphone array 23A is controlled to the head MH by beam forming control.
- these processes can apply a well-known process widely.
- the configuration in which the position of the ear or head is specified by the sensor becomes a very complicated system, resulting in a significant cost increase.
- the microphone array 23A and the like may become an obstacle when the microphone array 23A is installed around the face with an arm or the like, and it is necessary to consider the influence of the airbag operation. Also occurs.
- the microphone array 23A is arranged behind the head MH of the occupant M, and the voice of the occupant M is collected by controlling the directivity of the microphone array 23A.
- the amplifier 36 drives the speaker 22 based on the audio data acquired via the communication unit 34 under the control of the audio processing unit 35, and outputs the audio corresponding to the audio data from the speaker 22.
- the remote control 37 controls the operation of the sound processing unit 35 based on the operation signal from the operation unit 42.
- the operation unit 42 receives the operation of the occupant M and switches the operation mode of the voice input / output unit 21 and the like.
- a head position measurement mode for measuring the position of the head MH of the occupant M (separation distance L1 shown in FIG. 4) and sound (music, navigation sound, etc.) sent from other devices.
- a speech playback mode for recognizing the speech of the passenger M, a speech mode for recognizing the speech of the occupant M, and a call mode for realizing a hands-free call using a mobile phone.
- FIG. 6 is a flowchart showing control related to directivity of the microphone array 23A.
- the voice processing unit 35 determines whether or not it is a predetermined operation mode for acquiring the voice of the occupant (speaker) M (step S1A).
- control for changing the directivity (directivity pattern) of the microphone array 23A is performed (steps S2A, S4A, S5A).
- the voice processing unit 35 directs the directivity of the microphone array 23A to the occupant M in the operation mode (speech mode, call mode) for acquiring the occupant M's voice (step S1A; YES) (step S2A).
- the sound processing unit 35 determines whether or not the sound reproduction mode is selected (step S3A).
- the sound processing unit 35 The directivity control is canceled or the directivity of the microphone array 23A is directed to the left and right outside the occupant M (step S4A).
- Whether to cancel the directivity control of the microphone array 23A or to face the left and right sides of the occupant M may be determined according to an initial setting set by the user (occupant M or the like). If not in the audio reproduction mode (step S3A; NO), the audio processing unit 35 cancels the directivity control of the microphone array 23A (step S5A). In addition, when directivity control is cancelled
- FIG. 7 is a flowchart showing the control (position specifying process) in the head position measurement mode.
- the sound processing unit 35 releases the directivity control of the microphone array 23A (step S5A), and then outputs a test signal (for example, a test tone) from the speaker 22 (step S2B).
- the reflected sound of the test signal is acquired by the array 23A (step S3B).
- the sound of the speaker 22 is reflected by the head MH of the occupant M and collected by the microphone array 23A. More specifically, the sound of the test signal reflected in any range from the back of the occupant M to the neck is collected by the microphone array 23A.
- the sound processing unit 35 acquires the reflected sound of the test signal by performing a process of specifying the reflected sound from the input sound of the microphone 23.
- the sound processing unit 35 determines the distance from the location where the sound of the speaker 22 is reflected based on the delay time of the reflected sound (the time from when the test signal is output until the sound is collected by the microphone 23), That is, the separation distance L1 that is the distance from the rear head to the neck of the occupant M is calculated (step S4B). Then, the sound processing unit 35 stores the calculated information of the separation distance L1 in a memory (not shown) (step S5B), and the information of the separation distance L1 is formed control information for setting the directivity of the beam forming control. (Step S6B).
- the sound processing unit 35 can efficiently collect sound from the range from the rear head to the neck of the occupant M based on the separation distance L1.
- the directivity of 23A is set. This directivity setting may be performed by applying known control such as processing for selecting an optimal directivity pattern from a plurality of directivity patterns.
- This head position measurement mode is performed before shifting to an operation mode (for example, a speech mode or a call mode) for performing directivity control of the microphone array 23A. For example, it may be performed when a call is made or before a call is made due to a ringing tone.
- an operation mode for example, a speech mode or a call mode
- FIG. 8 is a flowchart showing the control in the audio reproduction mode.
- the audio reproduction mode is an operation mode for reproducing audio (songs, navigation audio, etc.) sent from other devices, and therefore the corresponding audio is output from the speaker 22.
- the sound processing unit 35 cancels the directivity control of the microphone array 23A, or directs the microphone array 23A to the left and right outside the occupant M (step S4A).
- the input voice of the array 23A is acquired (step S2C).
- This input sound is sound including ambient noise and sound of speaker output (including reflected sound).
- the sound processing unit 35 extracts the ambient noise by performing a calculation process of thinning out the sound corresponding to the speaker output from the acquired sound, and detects the average sound pressure of this noise level as the actual noise level (step S3C).
- the audio processing unit 35 stores the detected noise information (noise level in the present embodiment) in a memory (not shown) (step S4C), and automatically adjusts the speaker output volume and acoustic characteristics based on the noise information. (Step S5C).
- the volume level is adjusted slowly with a certain slope.
- simple control may be performed in which the volume is increased as the noise level is increased and the volume is decreased when the noise level is decreased.
- equalizing control or the like may be performed such that the lower the frequency and the higher the frequency is, the easier it is to hear as the noise level increases.
- the level of ambient noise can be accurately detected during the voice playback mode, and voice playback according to the ambient noise is performed to make it easier for the passenger M to hear. Can do.
- the noise information is not limited to storing only the noise level, and information such as the noise frequency may be stored. In that case, it is preferable to use the noise frequency for volume control and acoustic characteristic control to suppress the influence of the noise.
- FIG. 9 is a flowchart showing the control in the speech mode.
- the voice processing unit 35 when detecting that the utterance switch instructing the start of voice recognition (or voice operation) is operated by the occupant M or the like, the voice processing unit 35 shifts to the utterance mode.
- the voice processing unit 35 determines the directivity of the microphone array 23A based on the separation distance L1 acquired in the head position measurement mode. Direct to M (any range from the back of the head to the neck) (step S2A).
- the sound processing unit 35 acquires the input sound of the microphone array 23A, and acquires the sound from the occupant M by beam forming control (step S3D).
- the voice processing unit 35 performs a noise reduction process for removing the ambient noise from the acquired voice (voice data) based on the ambient noise information acquired in the voice playback mode (step S4D), and then the voice recognition process. Is performed (step S5D).
- the voice processing unit 35 transmits the voice recognition result to another device via the communication unit 34 (step S6D). Thereby, another device can be operated by voice based on the voice of the occupant M. Thereafter, the sound processing unit 35 cancels the directivity control of the microphone array 23A, or directs the directivity of the microphone array 23A to the left and right outside the occupant M (step S7D).
- the voice processing unit 35 detects and stores ambient noise as described in steps S3C and S3D described above. Thereby, the information of ambient noise can be efficiently acquired using the timing when the voice of the occupant M is not acquired. As a result, the noise information stored in the memory can be updated to the latest information.
- the above is the control regarding the speaker 22 and the microphone array 23A in the speech mode.
- FIG. 10 is a flowchart showing the control in the call mode.
- the voice processing unit 35 shifts to a call mode when it detects that a mobile phone connected for communication by Bluetooth or the like is in a call state (outgoing or incoming call state).
- the voice processing unit 35 changes the directivity of the microphone array 23A based on the stored separation distance L1. (Any range from the back of the head to the neck) (step S2E).
- the process of step S2E is the same as the process of step S2A described above.
- step S3E the sound processing unit 35 acquires the input sound of the microphone array 23A, and efficiently acquires the sound from the occupant M by beamforming control (step S3E).
- This step S3E is also the same as the process of step S3D described above.
- the process of acquiring the voice from the other party through the communication unit 34 and outputting it from the speaker 22 is also executed in parallel.
- the audio processing unit 35 performs an echo cancellation process and a noise reduction process (step S4E).
- the echo canceling process is a process of erasing an echo that occurs when the microphone array 23A collects the sound reproduced from the speaker 22, and widely known processes can be applied.
- the noise reduction process is a process for removing the ambient noise from the acquired voice (voice data) based on the stored ambient noise information, and is the same as the process in step 4D described above. Thus, the voice of the occupant M from which ambient noise has been removed can be acquired.
- the voice processing unit 35 transmits the voice data after the echo cancellation process and the noise reduction process to the mobile phone via the communication unit 34 (step S5E).
- the voice of the occupant M with no echo and no noise can be sent to the other party of the telephone.
- the voice processing unit 35 detects the cancellation of the call state of the mobile phone connected by Bluetooth or the like (step S6E)
- the voice processing unit 35 cancels the directivity control of the microphone array 23A or changes the directivity of the microphone array 23A. It is directed to the left and right sides outside the occupant M (step S7E).
- the voice processing unit 35 proceeds to the above-described steps S3C and S3D. Detection and storage of ambient noise as described. Thereby, the information of ambient noise can be efficiently acquired using the timing when the voice of the occupant M is not acquired. As a result, the noise information stored in the memory can be updated to the latest information.
- the above is the control related to the speaker 22 and the microphone array 23A in the call mode.
- the headrest device 11 acquires the voice of the occupant M as the state in which the voice processing unit 35 acquires the voice of the occupant M who is the speaker (referred to as “first state”). 6 (see step S1A in FIG. 6) for determining whether or not the operation mode (speech mode or call mode) is to be performed (see step S1A in FIG. 6), and other operation modes (voice reproduction mode, In the case of the head position measurement mode), the directivity of the microphone array 23A is set to the outside of the occupant M or omnidirectional to obtain the input sound of the microphone array 23A.
- the microphone array 23A functions as a control unit that directs the directivity of the microphone array 23A toward the passenger M.
- the ambient noise and the position information of the occupant M which are information useful for voice processing at the time of utterance, are obtained. Is possible. Using the obtained information, it is possible to perform voice processing such as removal of ambient noise and directivity control at the time of speech, and a dedicated position detector or the like is unnecessary. Therefore, it becomes easy to acquire the voice of the occupant M with high accuracy while suppressing the reduction in the number of parts and the complexity of the structure.
- the microphone array 23A is arranged behind the occupant M who is the speaker, and the voice processing unit 35 determines the directivity of the microphone array 23A in the operation mode (speech mode, call mode) in the first state. Since the range from the rear head to the neck of M is set, the voice of the passenger M can be efficiently acquired behind the passenger M. Further, the voice processing unit 35 acquires ambient noise based on the input voice acquired in the operation mode (voice reproduction mode) in the second state (see FIG. 8), and operates in the first state (speech mode, call mode). ), Noise reduction processing (noise removal processing) for removing ambient noise from the input sound of the microphone array 23A is performed. Therefore, ambient noise can be easily obtained with high accuracy and sufficient noise removal is facilitated.
- the operation mode speech mode, call mode
- the audio processing unit 35 and the amplifier 36 function as an audio output unit that outputs audio via the speaker 22, and an utterance mode for acquiring the audio of the occupant M, an audio output via the speaker 22, and the occupant M Even in the call mode for acquiring the voice of the occupant, when the voice of the occupant M is not acquired (corresponding to the second state), the directivity of the microphone array 23A is set to the outside of the occupant M or non-directional. Then, the input voice of the microphone array 23A is acquired (step S7D in FIG. 9, step S7E in FIG. 10, etc.), and ambient noise is detected and stored. Thereby, ambient noise can be acquired even in the operation mode for acquiring the voice of the occupant M, and the latest ambient noise can be easily obtained.
- the microphone array 23A is set omnidirectional and the microphone array 23A is input. Since the voice is acquired, the reflected sound reflected by the occupant M can be acquired and the position information of the occupant M can be acquired with high accuracy. By using this position information, the directivity of the microphone array 23A can be controlled so that the voice of the occupant M can be acquired with high accuracy.
- the microphone array 23A and the speaker 22 are arranged in the housing 13 arranged behind the occupant M, a dedicated position detector is not required, and a compact having excellent sound collecting performance and sound output function. Equipment can be provided. And since the housing
- the headrest device 11 is configured to output an ultrasonic signal from the speaker 22 as a test signal under the control of the audio processing unit 35 in an operation mode (audio output mode) in which audio is output via the speaker 22.
- the reflected sound of this test signal is acquired via the microphone array 23A, and the position specifying process for specifying the position of the occupant M based on the reflected sound is performed. Except for performing this position specifying process, it is the same as in the first embodiment.
- the voice output mode may be, for example, a voice playback mode that plays back voice (such as music or navigation voice) sent from another device, a call mode, or one of the modes.
- the ultrasonic signal is outside the audible range, it is not recognized by the occupant M, and the directivity is sharp and the reflected sound is easily measured accurately.
- the position of the occupant M can be specified with high accuracy while performing music reproduction or hands-free calling, and the occupant M is not uncomfortable.
- the position of the occupant M can be acquired with high accuracy while outputting the sound to be heard by the occupant M.
- the position of the occupant M can be specified at an arbitrary timing, and the latest information can be easily obtained. Therefore, the directivity control of the speaker 22 based on the position of the occupant M can be performed with high accuracy.
- an ultrasonic band that can be output by the speaker 22 may be used for the ultrasonic signal.
- music in recent years may include sound outside the audible band, it is preferable to use a frequency outside the frequency band used for the music.
- this position specifying process may be performed instead of the head position measurement mode of the first embodiment, the head position measurement mode can be omitted.
- the above-described embodiments are merely illustrative of one embodiment of the present invention, and can be arbitrarily modified and applied without departing from the spirit of the present invention.
- the number of the microphones 23 in the microphone array 23 ⁇ / b> A is not limited to two, and the speakers 22 may be added with low-frequency or high-frequency speakers.
- this invention is applied to the headrest apparatus 11 which functions as a headrest, and its control method was demonstrated, not only the apparatus which functions as a headrest but directivity of the microphone array 23A which arranged the several microphone 23 was controlled.
- the present invention can be widely applied to possible sound collectors and control methods thereof.
- control program for performing the above control is stored in advance in the headrest device 11 .
- the present invention is not limited thereto, and the control program is stored in a magnetic recording medium or an optical recording medium.
- the program may be stored in a computer-readable recording medium such as a semiconductor recording medium, and the computer may read and execute the control program from the recording medium.
- this control program may be downloaded from a distribution server or the like via a communication network (electric communication line).
- Headrest device (sound collector) 13 Housing 21 Audio Input / Output Unit 22 Speaker 23 Microphone 23A Microphone Array 34 Communication Unit 35 Audio Processing Unit (Decision Unit, Control Unit) 36 amplifiers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Transportation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Circuit For Audible Band Transducer (AREA)
- Chair Legs, Seat Parts, And Backrests (AREA)
- Seats For Vehicles (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
部品点数の低減や構造の複雑化を抑えつつ、発話者の音声を高精度に取得し易い集音装置、及び集音装置の制御方法を提供する。 音声処理部35は、発話者である乗員の音声を取得する動作モード(発話モード、通話モード)か否かを判定する(ステップS1A)。音声処理部35は、他の動作モード(音声再生モード、頭部位置測定モード)であった場合に、マイクアレイの指向性を乗員の外側、又は無指向に設定し(ステップS4A、S5A)、マイクアレイの入力音声を取得する。また、音声処理部35は、乗員の音声を取得する動作モード(発話モード、通話モード)の場合に、マイクアレイの指向性を乗員に向ける(ステップS2A)。
Description
本発明は、複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置、及び集音装置の制御方法に関する。
車のダッシュボードや天井、ハンドルなどにマイクを搭載し、ハンズフリー通話や音声認識を行う車載装置が知られている。この種の集音を行う装置(以下、集音装置)には、さらに高性能化する為に、複数のマイクを並べたマイクアレイを備え、ビームフォーミング制御によりマイクアレイの指向性を制御するものが提案されている(例えば、特許文献1参照)。
この特許文献1では、自動車に備えられたバックミラー又は座席の位置に基づいて自動車内の発話者の頭部の位置を検出する位置検出器を備え、検出された頭部の位置、及び各マイクの位置に基づいて指向性演算処理を行うようにしている。
この特許文献1では、自動車に備えられたバックミラー又は座席の位置に基づいて自動車内の発話者の頭部の位置を検出する位置検出器を備え、検出された頭部の位置、及び各マイクの位置に基づいて指向性演算処理を行うようにしている。
しかし、従来の構成は、バックミラー又は座席の位置を物理的に検出する位置検出器が必要であり、部品点数の増減や構造の複雑化を招きやすい。
本発明は、上述した事情に鑑みてなされたものであり、部品点数の低減や構造の複雑化を抑えつつ、発話者の音声を高精度に取得し易い集音装置、及び集音装置の制御方法を提供することを目的とする。
本発明は、上述した事情に鑑みてなされたものであり、部品点数の低減や構造の複雑化を抑えつつ、発話者の音声を高精度に取得し易い集音装置、及び集音装置の制御方法を提供することを目的とする。
なお、この明細書には、2015年6月1日に出願された日本国特許出願・特願2015-111657号の全ての内容が含まれる。
上記目的を達成するために、本発明は、複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置において、発話者の音声を取得する第1状態か否かを判定する判定部と、前記第1状態ではない第2状態の場合に、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得し、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者に向ける制御部とを備えることを特徴とする。
上記目的を達成するために、本発明は、複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置において、発話者の音声を取得する第1状態か否かを判定する判定部と、前記第1状態ではない第2状態の場合に、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得し、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者に向ける制御部とを備えることを特徴とする。
上記構成において、前記マイクアレイは前記発話者の後方に配置され、前記制御部は、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者の後頭部から首までの範囲に設定するようにしても良い。
また、上記構成において、前記制御部は、前記第2状態で取得した前記入力音声に基づいて周囲ノイズを取得し、前記第1状態の場合に、前記マイクアレイの入力音声から前記周囲ノイズを除去するノイズ除去処理を行うようにしても良い。
また、上記構成において、前記集音装置は、所定のスピーカーを介して音声を出力する音声出力部を有するとともに、動作モードとして、前記発話者の音声を取得する発話モードと、前記スピーカーを介して音声を出力するとともに前記発話者の音声を取得する通話モードとを備え、前記第2状態は、前記発話モード、及び前記通話モードにおける前記発話者の音声を取得しない状態を含むようにしても良い。
また、上記構成において、前記動作モードとして、前記スピーカーから出力されて前記発話者で反射した反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定モードを備え、前記第2状態は、前記位置特定モードの状態を含み、前記第1状態では、前記位置特定モードで特定した前記発話者の位置に応じて前記マイクアレイの指向性を制御するようにしても良い。
また、上記構成において、前記音声出力部は、前記スピーカーを介して音声を出力する音声出力モードのときに、超音波の信号を前記スピーカーから出力してその反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定処理を行うようにしても良い。
また、上記構成において、前記マイクアレイと前記スピーカーは、前記発話者の後方に配置される筐体に配置されるようにしても良い。また、上記構成において、前記筐体は、ヘッドレストであるようにしても良い。
また、本発明は、複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置の制御方法において、発話者の音声を取得する第1状態か否かを判定するステップと、前記第1状態ではない第2状態の場合に、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得し、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者に向けるステップとを実行することを特徴とする。
本発明では、発話者の音声を取得する第1状態か否かを判定し、前記第1状態ではない第2状態の場合に、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得し、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者に向けるので、マイクアレイの指向性を発話者の外側、又は無指向に設定したときの入力音声に基づいて、発話時の音声処理に役立つ情報である周囲ノイズや発話者の位置情報を得ることが可能になる。この得た情報を用いて、発話時に周囲ノイズの除去や指向性制御などの音声処理を行うことが可能となり、専用の位置検出器などが不要である。従って、部品点数の低減や構造の複雑化を抑えつつ、発話者の音声を高精度に取得し易くなる。
以下、図面を参照して本発明の実施の形態について説明する。
(第1実施形態)
図1は第1実施形態に係るヘッドレスト装置11の使用例を示した図である。図2はヘッドレスト装置11の斜視図であり、図3はヘッドレスト装置11の側断面図である。なお、各図において、乗員Mを基準にした各方向のうちの前方を符号Fを付して示し、上方を符号Uを付して示し、左方を符号Lを付して示している。
図1に示すように、このヘッドレスト装置11は、車両(本実施形態では自動車)に設けられた乗員用シート12に設置され、この乗員用シート12に着座する乗員(本実施形態では運転者)Mの頭MHの後方に配置されるヘッドレストとして機能する。なお、このヘッドレスト装置11は、自動車に限らず、飛行機、船舶、電車などの様々な車両に採用できる。また、このヘッドレスト装置11は、車両に採用する場合に限らず、オフィスチェアやソファーなどのオフィスや住宅で使用される家具にも応用可能であり、要はヘッドレストを備える機器に広く適用可能である。
(第1実施形態)
図1は第1実施形態に係るヘッドレスト装置11の使用例を示した図である。図2はヘッドレスト装置11の斜視図であり、図3はヘッドレスト装置11の側断面図である。なお、各図において、乗員Mを基準にした各方向のうちの前方を符号Fを付して示し、上方を符号Uを付して示し、左方を符号Lを付して示している。
図1に示すように、このヘッドレスト装置11は、車両(本実施形態では自動車)に設けられた乗員用シート12に設置され、この乗員用シート12に着座する乗員(本実施形態では運転者)Mの頭MHの後方に配置されるヘッドレストとして機能する。なお、このヘッドレスト装置11は、自動車に限らず、飛行機、船舶、電車などの様々な車両に採用できる。また、このヘッドレスト装置11は、車両に採用する場合に限らず、オフィスチェアやソファーなどのオフィスや住宅で使用される家具にも応用可能であり、要はヘッドレストを備える機器に広く適用可能である。
このヘッドレスト装置11は、ヘッドレスト装置11の外形状を形成する中空の筐体13と、筐体13から下方に延びる左右一対のヘッドレストステー14とを備えている。
筐体13には、衝撃緩和用のクッション材(不図示)と、音声入出力ユニット21とが収容されている。音声入出力ユニット21は、左右一対のスピーカー22と、複数のマイクロフォン(以下、マイクと言う)23と、回路基板24とを備えており、回路基板24の制御の下、スピーカー22を介して音声を出力し、マイク23を介して外部音声を入力(集音)する。これによって、ヘッドレスト装置11は音声の入出力機能を具備する。
筐体13には、衝撃緩和用のクッション材(不図示)と、音声入出力ユニット21とが収容されている。音声入出力ユニット21は、左右一対のスピーカー22と、複数のマイクロフォン(以下、マイクと言う)23と、回路基板24とを備えており、回路基板24の制御の下、スピーカー22を介して音声を出力し、マイク23を介して外部音声を入力(集音)する。これによって、ヘッドレスト装置11は音声の入出力機能を具備する。
図2及び図3に示すように、音声入出力ユニット21は、前後方向に短い薄型に形成され、筐体13の前側空間に収容される。このように前後方向に薄いコンパクト形状にすることにより、様々な形状のヘッドレスト(つまり、様々な形状の筐体13)に音声入出力ユニット21を収容し易くなる。
また、筐体13は、ヘッドレストステー14を介して上下に移動自在であり、且つ、ヘッドレストステー14に対して前後に傾動自在(図3中、傾動方向を矢印Kで示す)である。これによって、乗員Mの頭MHの位置に合わせて筐体13の位置を適切に調整可能である。
また、筐体13は、ヘッドレストステー14を介して上下に移動自在であり、且つ、ヘッドレストステー14に対して前後に傾動自在(図3中、傾動方向を矢印Kで示す)である。これによって、乗員Mの頭MHの位置に合わせて筐体13の位置を適切に調整可能である。
左右一対のスピーカー22は、筐体13の前板部13Aに左右に間隔を空けて配置され、前方に向けて音を出力する。これらスピーカー22には、上下方向に長い縦長のスピーカーが用いられる。これにより、乗員Mの頭MHの位置が上下に変動しても、乗員Mの頭MHに向けて音声を出力可能である。また、ヘッドレスト装置11を上下させることによっても、乗員Mの体格の違いによって頭MHの位置が異なったとしても、乗員Mの頭MHに向けて音声を出力可能である。
また、複数のマイク23は、左右のスピーカー22の間に配置され、少なくともヘッドレスト前方の音を集音可能に設けられる。これらマイク23の後方、且つ、左右のスピーカー22の間に回路基板24が配置されている。このようにして、マイク23、回路基板24及びスピーカー22をコンパクトに配置し、全体の小型化が図られている。
また、複数のマイク23は、左右のスピーカー22の間に配置され、少なくともヘッドレスト前方の音を集音可能に設けられる。これらマイク23の後方、且つ、左右のスピーカー22の間に回路基板24が配置されている。このようにして、マイク23、回路基板24及びスピーカー22をコンパクトに配置し、全体の小型化が図られている。
なお、本実施形態では、回路基板24にマイク23が装着されているが、マイク23を回路基板24から離して設けるようにしても良い。
また、音声入出力ユニット21は筐体13の前側空間に収容されるので、筐体13の角度が変わってもスピーカー22及び各マイク23を前方に向けたレイアウトを維持できる。
また、音声入出力ユニット21は筐体13の前側空間に収容されるので、筐体13の角度が変わってもスピーカー22及び各マイク23を前方に向けたレイアウトを維持できる。
図4はヘッドレスト装置11を乗員Mの頭MHと共に上方から見た図である。
図4に示すように、ヘッドレスト装置11の筐体13の前方には、乗員Mの頭MHが位置するので、左右一対のスピーカー22の音を乗員Mの左右の耳へ向けて効率良く出力することができる。
複数(本構成では2個)のマイク23は、左右に間隔を空けて同じ高さに配置されており、ヘッドレスト前方からの音をそれぞれ集音する。これらマイク23自体は無指向性マイクが使用され、乗員Mの声を含む周囲の音を広く集音することができる。
図4に示すように、ヘッドレスト装置11の筐体13の前方には、乗員Mの頭MHが位置するので、左右一対のスピーカー22の音を乗員Mの左右の耳へ向けて効率良く出力することができる。
複数(本構成では2個)のマイク23は、左右に間隔を空けて同じ高さに配置されており、ヘッドレスト前方からの音をそれぞれ集音する。これらマイク23自体は無指向性マイクが使用され、乗員Mの声を含む周囲の音を広く集音することができる。
なお、乗員Mが話した際には、乗員Mの後頭部から首(頸椎)の範囲の皮膚を通して声帯の音声が後方に出ており、この音声を集音することにより乗員Mの声を的確に集音できる。また、本実施形態のマイク23は左右に間隔を空けて配置されているので、特に左右からの音を異なる位相で集音することができ、左右の音を判別し易い。
図3に示すように、マイク23前方の開口部(マイク開口部)23Kは、音声入出力ユニット21の設置角度やヘッドレストの角度調整位置が変わっても影響を受けないように、前方に行くほど拡径するすり鉢状の開口形状に形成されている。これによって、音声入出力ユニット21がどのようなレイアウトやヘッドレストの調整角度であっても、乗員Mの後頭部から首の間で後方に発せられる乗員Mの音声などを拾い易くなり、様々な車種への展開がし易い。
図4に示すように、ヘッドレスト装置11の左右両端部は、音を通さない音カット構造とされる。これにより、左右のスピーカー22から後方などに漏れる音声がカットされ、マイク23に入る音への影響を抑えることができる。なお、音カット構造は、スピーカー22後方に吸音材を設ける等の公知の音カット構造を適用すれば良い。
図5は音声入出力ユニット21の電気的構成を示すブロック図である。
回路基板24は、コネクタ31、32、DC-DC変換器33、通信部34、音声処理部35、アンプ36、及びリモートコントロール37を実装して構成されている。
コネクタ31には、車両電源41が供給されるとともに、乗員Mが操作する操作部42の操作信号が入力される。また、他のコネクタ32には、マイク23がそれぞれ接続される。DC-DC変換器33は、車両電源41からの電力を所定の電力に直流変換し、音声入出力ユニット21の各部に供給する。
回路基板24は、コネクタ31、32、DC-DC変換器33、通信部34、音声処理部35、アンプ36、及びリモートコントロール37を実装して構成されている。
コネクタ31には、車両電源41が供給されるとともに、乗員Mが操作する操作部42の操作信号が入力される。また、他のコネクタ32には、マイク23がそれぞれ接続される。DC-DC変換器33は、車両電源41からの電力を所定の電力に直流変換し、音声入出力ユニット21の各部に供給する。
通信部34は、他の機器(不図示)と通信する通信装置として機能し、本実施形態では、Bluetooth(登録商標)などの通信規格に従った近距離無線通信を行う。この通信部34は、受信結果を音声処理部35に出力し、また、音声処理部35を介して入力したマイク音声を他の機器に送信する。なお、通信は無線通信に限らず、有線通信でも良い。
他の機器は、例えば、携帯電話(スマートフォンを含む)、タブレット端末、カーオーディオ、及びカーナビゲーション装置などである。
他の機器は、例えば、携帯電話(スマートフォンを含む)、タブレット端末、カーオーディオ、及びカーナビゲーション装置などである。
音声処理部35は、マイクアンプを備えた音響DSP(Digital Signal Pocessor)で構成される。この音声処理部35は、予め記憶された制御プログラムを実行することにより、現在の動作状態(動作モードなど)を判定する判定部、この音声入出力ユニット21の各部を制御する制御部、及び、各種演算処理を行う演算処理部、各マイク23からの入力音声を増幅する音声増幅部などとして機能する。この音声処理部35及び通信部34によって、後段に説明するように、他の機器と音声入出力ユニット21との連係処理が実現される。
音声処理部35が行う演算処理には、マイク入力のビームフォーミング制御(演算)処理、マイク入力のノイズレベルに応じた再生出力制御(スピーカー出力を間引く演算処理を含む)、頭部位置測定モードのテストトーン出力、マイク入力により距離演算処理、マイク音声の音声認識処理などがある。
音声処理部35が行う演算処理には、マイク入力のビームフォーミング制御(演算)処理、マイク入力のノイズレベルに応じた再生出力制御(スピーカー出力を間引く演算処理を含む)、頭部位置測定モードのテストトーン出力、マイク入力により距離演算処理、マイク音声の音声認識処理などがある。
ビームフォーミング制御処理は、複数のマイク23を有するマイクアレイ23Aの指向性を制御する処理である。より具体的には、音源から各マイク23への音波伝搬がそれぞれ異なることに基づき特定の方向からの音を強調、或いは低減する。例えば、複数種類の指向性パターンを有し、パターンの切り替えや各パターンのパラメータの変更により、乗員Mの音声を高精度に集音する指向性パターンに切り替えたり、周囲の音声(ノイズなど)を高精度に集音する指向性パターンに切り替えたりする。
マイク入力のノイズレベルに応じた再生出力制御は、周囲ノイズの影響を小さくするように音量制御、或いは周波数制御する処理である。以下、各マイク23を特に区別する必要がない場合はマイクアレイ23Aと表記する。
マイク入力のノイズレベルに応じた再生出力制御は、周囲ノイズの影響を小さくするように音量制御、或いは周波数制御する処理である。以下、各マイク23を特に区別する必要がない場合はマイクアレイ23Aと表記する。
頭部位置測定モードは、スピーカー22からテスト信号を出力し、マイクアレイ23Aで集音した反射音に基づき乗員Mの頭MHの位置を測定するモードである。このモードでは、乗員Mの頭MHとマイクアレイ23Aとの間の離間距離L1(図4参照)を算出する位置特定処理が実施される。この離間距離L1は、ビームフォーミング制御によって頭MHにマイクアレイ23Aの指向性を制御する際に用いられる。
なお、これらの処理は公知の処理を広く適用することができる。これらによって、シート位置や乗員Mの体格、マイクアレイ23Aとの離間距離L1などの影響による乗員Mの集音音声の品質劣化や音声認識率の劣化を抑えることができる。
なお、これらの処理は公知の処理を広く適用することができる。これらによって、シート位置や乗員Mの体格、マイクアレイ23Aとの離間距離L1などの影響による乗員Mの集音音声の品質劣化や音声認識率の劣化を抑えることができる。
ところで、指向性などの精度を上げるために耳や頭の位置をセンサーで特定する構成にした場合、非常に複雑なシステムとなってしまい、大幅なコストアップを招いてしまう。また、乗員Mが顔を動かすことを考慮すると、顔の周りにアームなどでマイクアレイ23Aを設置した場合にマイクアレイ23Aなどが邪魔になるおそれがあり、エアバッグ動作時の影響を考慮する必要も生じる。
本実施形態では、乗員Mの頭MHの後方にマイクアレイ23Aを配置し、マイクアレイ23Aの指向性を制御することによって乗員Mの声を集音する。これにより、部品点数の低減や構造の複雑化を抑え、乗員Mの顔の動きを阻害することなく、音声認識やハンズフリー通話などを実現できるようにしている。
本実施形態では、乗員Mの頭MHの後方にマイクアレイ23Aを配置し、マイクアレイ23Aの指向性を制御することによって乗員Mの声を集音する。これにより、部品点数の低減や構造の複雑化を抑え、乗員Mの顔の動きを阻害することなく、音声認識やハンズフリー通話などを実現できるようにしている。
アンプ36は、音声処理部35の制御の下、通信部34を介して取得した音声データに基づきスピーカー22を駆動し、音声データに対応する音声をスピーカー22から出力させる。このアンプ36にデジタルアンプを適用することで、アンプ36の小型化などが可能になる。
リモートコントロール37は、操作部42の操作信号に基づいて音声処理部35の動作を制御する。操作部42は、乗員Mの操作を受け付け、音声入出力ユニット21の動作モードなどを切り替える。
リモートコントロール37は、操作部42の操作信号に基づいて音声処理部35の動作を制御する。操作部42は、乗員Mの操作を受け付け、音声入出力ユニット21の動作モードなどを切り替える。
この動作モード(動作状態)には、乗員Mの頭MHの位置(図4に示す離間距離L1)を測定する頭部位置測定モード、他の機器から送られた音声(楽曲やナビゲーション音声など)を再生する音声再生モード、乗員Mの発話音声を認識する発話モード、及び、携帯電話を用いたハンズフリー通話を実現する通話モードなどがある。
次に、この音声入出力ユニット21の動作を説明する。
図6はマイクアレイ23Aの指向性に関する制御を示すフローチャートである。
この図に示すように、この音声入出力ユニット21において、音声処理部35は乗員(発話者)Mの音声を取得する所定の動作モードか否かを判定しており(ステップS1A)、この判定結果に応じて、マイクアレイ23Aの指向性(指向性パターン)を変更する制御を行うようになっている(ステップS2A、S4A、S5A)。
図6はマイクアレイ23Aの指向性に関する制御を示すフローチャートである。
この図に示すように、この音声入出力ユニット21において、音声処理部35は乗員(発話者)Mの音声を取得する所定の動作モードか否かを判定しており(ステップS1A)、この判定結果に応じて、マイクアレイ23Aの指向性(指向性パターン)を変更する制御を行うようになっている(ステップS2A、S4A、S5A)。
詳述すると、音声処理部35は、乗員Mの音声を取得する動作モード(発話モード、通話モード)の場合(ステップS1A;YES)、マイクアレイ23Aの指向性を乗員Mに向ける(ステップS2A)。一方、音声処理部35は、上記動作モードでない場合(ステップS1A;NO)、音声再生モードか否かを判定し(ステップS3A)、音声再生モードの場合(ステップS3A;YES)、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS4A)。なお、マイクアレイ23Aの指向性制御を解除するか、乗員Mの左右外側へ向けるかは、ユーザ(乗員Mなど)が設定する初期設定などに従えば良い。
また、音声再生モードでない場合(ステップS3A;NO)、音声処理部35は、マイクアレイ23Aの指向性制御を解除する(ステップS5A)。なお、指向性制御を解除した場合は無指向となる。
また、音声再生モードでない場合(ステップS3A;NO)、音声処理部35は、マイクアレイ23Aの指向性制御を解除する(ステップS5A)。なお、指向性制御を解除した場合は無指向となる。
次いで、各動作モードのときのスピーカー22及びマイクアレイ23Aに関する制御を説明する。
図7は頭部位置測定モード時の制御(位置特定処理)を示すフローチャートである。
頭部位置測定モードの場合、音声処理部35は、マイクアレイ23Aの指向性制御を解除した後(ステップS5A)、テスト信号(例えば、テストトーン)をスピーカー22から出力させ(ステップS2B)、マイクアレイ23Aによりテスト信号の反射音を取得する(ステップS3B)。
この場合、スピーカー22の音は、乗員Mの頭MHで反射してマイクアレイ23Aに集音される。より具体的には、乗員Mの後頭部から首までのいずれかの範囲で反射したテスト信号の音などがマイクアレイ23Aに集音される。音声処理部35は、マイク23の入力音声から反射音を特定する処理を行うことにより、テスト信号の反射音を取得する。
図7は頭部位置測定モード時の制御(位置特定処理)を示すフローチャートである。
頭部位置測定モードの場合、音声処理部35は、マイクアレイ23Aの指向性制御を解除した後(ステップS5A)、テスト信号(例えば、テストトーン)をスピーカー22から出力させ(ステップS2B)、マイクアレイ23Aによりテスト信号の反射音を取得する(ステップS3B)。
この場合、スピーカー22の音は、乗員Mの頭MHで反射してマイクアレイ23Aに集音される。より具体的には、乗員Mの後頭部から首までのいずれかの範囲で反射したテスト信号の音などがマイクアレイ23Aに集音される。音声処理部35は、マイク23の入力音声から反射音を特定する処理を行うことにより、テスト信号の反射音を取得する。
次に、音声処理部35は、上記反射音の遅延時間(テスト信号を出力してからマイク23に集音されるまでの時間)に基づいて、スピーカー22の音が反射した箇所との距離、つまり、乗員Mの後頭部から首までの範囲との距離である離間距離L1を算出する(ステップS4B)。そして、音声処理部35は、算出した離間距離L1の情報を不図示のメモリに記憶し(ステップS5B)、この離間距離L1の情報を、ビームフォーミング制御の指向性を設定するためのフォーミング制御情報に活用する(ステップS6B)。
すなわち、音声処理部35は、マイクアレイ23Aの指向性を制御する際に、上記離間距離L1に基づいて、乗員Mの後頭部から首までの範囲からの音を効率良く集音できるようにマイクアレイ23Aの指向性を設定する。この指向性の設定は、複数の指向性パターンの中から最適な指向性パターンを選択する処理などの公知の制御を適用すれば良い。
すなわち、音声処理部35は、マイクアレイ23Aの指向性を制御する際に、上記離間距離L1に基づいて、乗員Mの後頭部から首までの範囲からの音を効率良く集音できるようにマイクアレイ23Aの指向性を設定する。この指向性の設定は、複数の指向性パターンの中から最適な指向性パターンを選択する処理などの公知の制御を適用すれば良い。
なお、この頭部位置測定モードは、マイクアレイ23Aの指向性制御を行う動作モード(例えば、発話モードや通話モード)への移行前に行われる。例えば、発呼時や着信音が鳴っていて通話状態になる前などに行っても良い。
図8は音声再生モード時の制御を示すフローチャートである。
なお、音声再生モードは、他の機器から送られた音声(曲やナビゲーション音声など)を再生する動作モードであるため、スピーカー22から対応する音声が出力される。
音声再生モードの場合、音声処理部35は、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向けた状態で(ステップS4A)、マイクアレイ23Aの入力音声を取得する(ステップS2C)。
なお、音声再生モードは、他の機器から送られた音声(曲やナビゲーション音声など)を再生する動作モードであるため、スピーカー22から対応する音声が出力される。
音声再生モードの場合、音声処理部35は、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向けた状態で(ステップS4A)、マイクアレイ23Aの入力音声を取得する(ステップS2C)。
この入力音声は、周囲ノイズと、スピーカー出力の音声(反射音を含む)とを含む音声である。音声処理部35は、取得した音声からスピーカー出力分の音声を間引く演算処理を行うことにより周囲ノイズを抽出し、このノイズレベルの平均音圧を、実際のノイズレベルとして検出する(ステップS3C)。
音声処理部35は、検出したノイズの情報(本実施形態ではノイズレベル)を不図示のメモリに記憶し(ステップS4C)、このノイズの情報に基づいてスピーカー出力の音量、及び音響特性を自動調整する(ステップS5C)。
音声処理部35は、検出したノイズの情報(本実施形態ではノイズレベル)を不図示のメモリに記憶し(ステップS4C)、このノイズの情報に基づいてスピーカー出力の音量、及び音響特性を自動調整する(ステップS5C)。
自動調整の内容としては、例えば、ノイズレベルに予め定めた閾値以上の変化があった場合、一定のスロープで緩やかにボリュームレベルを調整する。また、ノイズレベルが大きいほど音量を増大し、ノイズレベルが下がったら音量を下げるシンプルな制御でも良い。また、音響特性の制御として、ノイズレベルが大きいほど低域及び高域を増強して聞きやすくするイコライジング制御などを行うようにしても良い。
このステップS2C~S5Cの処理を適宜に繰り返すことにより、音声再生モードの間、周囲ノイズのレベルを精度良く検出できるとともに、この周囲ノイズに応じた音声再生を行って乗員Mなどに聞きやすくすることができる。
なお、ノイズの情報として、ノイズレベルだけを記憶する場合に限らず、ノイズの周波数などの情報を記憶するようにしても良い。その場合、ノイズの周波数を音量制御や音響特性の制御に活用し、そのノイズの影響を抑制することが好ましい。
なお、ノイズの情報として、ノイズレベルだけを記憶する場合に限らず、ノイズの周波数などの情報を記憶するようにしても良い。その場合、ノイズの周波数を音量制御や音響特性の制御に活用し、そのノイズの影響を抑制することが好ましい。
図9は発話モード時の制御を示すフローチャートである。
前提として、音声処理部35は、音声認識(又は音声操作)の開始を指示する発話スイッチが乗員Mなどにより操作されたことを検出すると、発話モードに移行する。
図9に示すように、音声処理部35は、発話スイッチの操作を検出すると(ステップS1D)、頭部位置測定モードにて取得された離間距離L1に基づいて、マイクアレイ23Aの指向性を乗員M(後頭部から首までのいずれかの範囲)に向ける(ステップS2A)。次いで、音声処理部35は、マイクアレイ23Aの入力音声を取得し、ビームフォーミング制御により乗員Mからの音声を取得する(ステップS3D)。
前提として、音声処理部35は、音声認識(又は音声操作)の開始を指示する発話スイッチが乗員Mなどにより操作されたことを検出すると、発話モードに移行する。
図9に示すように、音声処理部35は、発話スイッチの操作を検出すると(ステップS1D)、頭部位置測定モードにて取得された離間距離L1に基づいて、マイクアレイ23Aの指向性を乗員M(後頭部から首までのいずれかの範囲)に向ける(ステップS2A)。次いで、音声処理部35は、マイクアレイ23Aの入力音声を取得し、ビームフォーミング制御により乗員Mからの音声を取得する(ステップS3D)。
このようにして取得した音声は、マイクアレイ23Aの指向性を乗員Mに向けているため、乗員Mの音声を確実に含む音声データではあるが、エンジン音などの周囲ノイズを含む可能性が高い。周囲ノイズの影響が大きい場合には高精度に音声認識できなくなる。
そこで、音声処理部35は、音声再生モード時に取得した周囲ノイズの情報に基づいて、取得した音声(音声データ)から周囲ノイズを除去するノイズリダクション処理を行い(ステップS4D)、その後に音声認識処理を行う(ステップS5D)。
そこで、音声処理部35は、音声再生モード時に取得した周囲ノイズの情報に基づいて、取得した音声(音声データ)から周囲ノイズを除去するノイズリダクション処理を行い(ステップS4D)、その後に音声認識処理を行う(ステップS5D)。
このように、マイクアレイ23Aの指向性を乗員Mに向け、且つ、周囲ノイズを除去して音声認識するので、乗員Mの声を高精度に取得でき、高精度に音声認識することができる。この音声認識処理の後、音声処理部35は、音声認識結果を、通信部34を介して他の機器に送信する(ステップS6D)。これにより、乗員Mの音声に基づいて他の機器を音声操作などすることができる。
その後、音声処理部35は、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS7D)。
その後、音声処理部35は、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS7D)。
ここで、発話モード時であっても、ステップS7Dの後、音声処理部35は、上述したステップS3C、S3Dに記載するような周囲ノイズの検出、及び記憶を行う。これにより、乗員Mの音声を取得しないタイミングを利用して効率良く周囲ノイズの情報を取得できる。これにより、メモリに記憶されるノイズの情報を最新の情報に更新できる。以上が発話モード時のスピーカー22及びマイクアレイ23Aに関する制御である。
図10は通話モード時の制御を示すフローチャートである。
前提として、音声処理部35は、Bluetoothなどで通信接続された携帯電話が通話状態(発信又は着信状態)になったことを検出すると、通話モードに移行する。
図10に示すように、音声処理部35は、携帯電話が通話状態になったことを検出すると(ステップS1E)、記憶された離間距離L1に基づいて、マイクアレイ23Aの指向性を乗員M(後頭部から首までのいずれかの範囲)に向ける(ステップS2E)。このステップS2Eの処理は、上述したステップS2Aの処理と同じである。
前提として、音声処理部35は、Bluetoothなどで通信接続された携帯電話が通話状態(発信又は着信状態)になったことを検出すると、通話モードに移行する。
図10に示すように、音声処理部35は、携帯電話が通話状態になったことを検出すると(ステップS1E)、記憶された離間距離L1に基づいて、マイクアレイ23Aの指向性を乗員M(後頭部から首までのいずれかの範囲)に向ける(ステップS2E)。このステップS2Eの処理は、上述したステップS2Aの処理と同じである。
次いで、音声処理部35は、マイクアレイ23Aの入力音声を取得し、ビームフォーミング制御により乗員Mからの音声を効率良く取得する(ステップS3E)。このステップS3Eについても、上述したステップS3Dの処理と同じである。
なお、通話モードの場合、音声処理部35の制御の下、電話の相手からの音声を通信部34を介して取得し、スピーカー22から出力する処理も並行して実行される。
なお、通話モードの場合、音声処理部35の制御の下、電話の相手からの音声を通信部34を介して取得し、スピーカー22から出力する処理も並行して実行される。
ステップS3Eの処理の後、音声処理部35は、エコーキャンセル処理、及びノイズリダクション処理を行う(ステップS4E)。エコーキャンセル処理は、マイクアレイ23Aがスピーカー22から再生される音を集音することによって起こるエコーを消去する処理であり、公知の処理を広く適用可能である。
ノイズリダクション処理は、記憶された周囲ノイズの情報に基づいて、取得した音声(音声データ)から周囲ノイズを除去する処理であり、上述したステップ4Dの処理と同じである。これによって、周囲ノイズを除去した乗員Mの音声を取得できる。
ノイズリダクション処理は、記憶された周囲ノイズの情報に基づいて、取得した音声(音声データ)から周囲ノイズを除去する処理であり、上述したステップ4Dの処理と同じである。これによって、周囲ノイズを除去した乗員Mの音声を取得できる。
そして、音声処理部35は、エコーキャンセル処理、及びノイズリダクション処理を行った後の音声のデータを、通信部34を介して携帯電話に送信する(ステップS5E)。これによって、エコーが無くノイズが除去された乗員Mの音声を電話の相手先に送ることができる。
その後、音声処理部35は、Bluetoothなどで通信接続された携帯電話の通話状態の解除を検出すると(ステップS6E)、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS7E)。
その後、音声処理部35は、Bluetoothなどで通信接続された携帯電話の通話状態の解除を検出すると(ステップS6E)、マイクアレイ23Aの指向性制御を解除し、或いは、マイクアレイ23Aの指向性を乗員Mの外側である左右に向ける(ステップS7E)。
ここで、通話モードであっても、発話モードの場合と同様に、マイクアレイ23Aの指向性を乗員Mの外側に向けたステップS7Eの後、音声処理部35は、上述したステップS3C、S3Dに記載するような周囲ノイズの検出、及び記憶を行う。これにより、乗員Mの音声を取得しないタイミングを利用して効率良く周囲ノイズの情報を取得できる。これにより、メモリに記憶されるノイズの情報を最新の情報に更新できる。以上が通話モード時のスピーカー22及びマイクアレイ23Aに関する制御である。
以上説明したように、本実施形態に係るヘッドレスト装置11は、音声処理部35が、発話者である乗員Mの音声を取得する状態(「第1状態」という)として、乗員Mの音声を取得する動作モード(発話モード、通話モード)か否かを判定する判定部として機能するともに(図6のステップS1A参照)、第1状態ではない第2状態として、他の動作モード(音声再生モード、頭部位置測定モード)であった場合に、マイクアレイ23Aの指向性を乗員Mの外側、又は無指向に設定してマイクアレイ23Aの入力音声を取得し、第1状態の動作モードの場合に、マイクアレイ23Aの指向性を乗員Mに向ける制御部として機能する。
これにより、マイクアレイ23Aの指向性を乗員Mの外側、又は無指向に設定したときの入力音声に基づいて、発話時の音声処理に役立つ情報である周囲ノイズや乗員Mの位置情報を得ることが可能になる。この得た情報を用いて、発話時に周囲ノイズの除去や指向性制御などの音声処理を行うことが可能となり、専用の位置検出器などが不要である。従って、部品点数の低減や構造の複雑化を抑えつつ、乗員Mの音声を高精度に取得し易くなる。
しかも、マイクアレイ23Aは発話者である乗員Mの後方に配置され、音声処理部35は、上記第1状態の動作モード(発話モード、通話モード)の場合に、マイクアレイ23Aの指向性を乗員Mの後頭部から首までの範囲に設定するので、乗員Mの後方にて乗員Mの音声を効率良く取得できる。
また、音声処理部35は、第2状態の動作モード(音声再生モード)で取得した入力音声に基づいて周囲ノイズを取得し(図8参照)、第1状態の動作モード(発話モード、通話モード)の場合に、マイクアレイ23Aの入力音声から周囲ノイズを除去するノイズリダクション処理(ノイズ除去処理)を行うので、周囲ノイズを高精度且つ容易に取得し易く、十分なノイズ除去をし易くなる。
また、音声処理部35は、第2状態の動作モード(音声再生モード)で取得した入力音声に基づいて周囲ノイズを取得し(図8参照)、第1状態の動作モード(発話モード、通話モード)の場合に、マイクアレイ23Aの入力音声から周囲ノイズを除去するノイズリダクション処理(ノイズ除去処理)を行うので、周囲ノイズを高精度且つ容易に取得し易く、十分なノイズ除去をし易くなる。
また、音声処理部35及びアンプ36は、スピーカー22を介して音声を出力する音声出力部として機能し、乗員Mの音声を取得する発話モードと、スピーカー22を介して音声を出力するとともに乗員Mの音声を取得する通話モードの場合であっても、乗員Mの音声を取得しない状態(第2状態に相当)のときに、マイクアレイ23Aの指向性を乗員Mの外側、又は無指向に設定してマイクアレイ23Aの入力音声を取得し(図9のステップS7D、図10のステップS7Eなど)、周囲ノイズの検出、及び記憶を行う。これにより、乗員Mの音声を取得する動作モードのときでも周囲ノイズを取得でき、最新の周囲ノイズを得やすくなる。
また、スピーカー22及びマイクアレイ23Aを用いて乗員Mの位置を特定する頭部位置特定モードの場合(第2状態に相当)にも、マイクアレイ23Aを無指向に設定してマイクアレイ23Aの入力音声を取得するので、乗員Mで反射した反射音を取得して乗員Mの位置情報を精度良く取得できる。この位置情報を用いることにより、乗員Mの音声を高精度に取得可能にマイクアレイ23Aの指向性を制御できる。
また、マイクアレイ23Aとスピーカー22は、乗員Mの後方に配置される筐体13に配置されているので、専用の位置検出器などが不要で、優れた集音性能と音声出力機能を備えるコンパクトな装置を提供できる。
しかも、筐体13は、ヘッドレストであるため、既存のヘッドレストのスペースを利用してマイクアレイ23Aとスピーカー22を配置できる。
しかも、筐体13は、ヘッドレストであるため、既存のヘッドレストのスペースを利用してマイクアレイ23Aとスピーカー22を配置できる。
(第2実施形態)
第2実施形態のヘッドレスト装置11は、スピーカー22を介して音声を出力する動作モード(音声出力モード)のときに、音声処理部35の制御の下、超音波の信号をテスト信号としてスピーカー22から出力し、このテスト信号の反射音をマイクアレイ23Aを介して取得し、この反射音に基づいて乗員Mの位置を特定する位置特定処理を行う。この位置特定処理を行うこと以外は、第1実施形態と同様である。
上記音声出力モードは、例えば、他の機器から送られた音声(楽曲やナビゲーション音声など)を再生する音声再生モード、及び通話モード、或いは、いずれか一方のモードでも良い。
第2実施形態のヘッドレスト装置11は、スピーカー22を介して音声を出力する動作モード(音声出力モード)のときに、音声処理部35の制御の下、超音波の信号をテスト信号としてスピーカー22から出力し、このテスト信号の反射音をマイクアレイ23Aを介して取得し、この反射音に基づいて乗員Mの位置を特定する位置特定処理を行う。この位置特定処理を行うこと以外は、第1実施形態と同様である。
上記音声出力モードは、例えば、他の機器から送られた音声(楽曲やナビゲーション音声など)を再生する音声再生モード、及び通話モード、或いは、いずれか一方のモードでも良い。
超音波の信号は可聴域外であるため、乗員Mには認識されず、また、指向性が鋭く反射音も正確に測定し易い。これにより、曲再生やハンズフリー通話などを行いながら乗員Mの位置を精度良く特定でき、且つ、乗員Mに不快感も与えることもない。これにより、第1実施形態の各種効果に加え、乗員Mに聞かせる音声を出力しながら乗員Mの位置を高精度に取得可能になる。
さらに、乗員Mの位置を任意のタイミングで特定できるようになり、最新の情報を得やすくなる。従って、乗員Mの位置に基づくスピーカー22の指向性制御を精度良く行うことが可能である。
さらに、乗員Mの位置を任意のタイミングで特定できるようになり、最新の情報を得やすくなる。従って、乗員Mの位置に基づくスピーカー22の指向性制御を精度良く行うことが可能である。
なお、超音波の信号には、スピーカー22が出力可能な超音波帯域を用いれば良い。但し、近年の楽曲には可聴帯域外の音が含まれることがあるため、楽曲に使用される周波数帯域外の周波数を用いることが好ましい。また、この位置特定処理は、第1実施形態の頭部位置測定モードの代わりに行えばよいので、頭部位置測定モードを省略することが可能である。
上述した実施形態は、あくまでも本発明の一実施の態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、マイクアレイ23Aのマイク23の数は2個に限らず、また、スピーカー22についても、低音用或いは高音用のスピーカーを追加しても良い。
また、ヘッドレストとして機能するヘッドレスト装置11、及びその制御方法に本発明を適用する場合を説明したが、ヘッドレストとして機能する装置に限らず、複数のマイク23を並べたマイクアレイ23Aの指向性を制御可能な集音装置、及びその制御方法に本発明を広く適用可能である。
例えば、マイクアレイ23Aのマイク23の数は2個に限らず、また、スピーカー22についても、低音用或いは高音用のスピーカーを追加しても良い。
また、ヘッドレストとして機能するヘッドレスト装置11、及びその制御方法に本発明を適用する場合を説明したが、ヘッドレストとして機能する装置に限らず、複数のマイク23を並べたマイクアレイ23Aの指向性を制御可能な集音装置、及びその制御方法に本発明を広く適用可能である。
また、上述した各実施形態では、上記制御を行うための制御プログラムをヘッドレスト装置11に予め記憶しておく場合を説明したが、これに限らず、この制御プログラムを、磁気記録媒体、光記録媒体、半導体記録媒体などのコンピューターが読み取り可能な記録媒体に格納し、コンピューターが記録媒体からこの制御プログラムを読み取って実行するようにしても良い。また、この制御プログラムを、通信ネットワーク(電気通信回線)を介して配信サーバーなどからダウンロードできるようにしてもよい。
11 ヘッドレスト装置(集音装置)
13 筐体
21 音声入出力ユニット
22 スピーカー
23 マイク
23A マイクアレイ
34 通信部
35 音声処理部(判定部、制御部)
36 アンプ
13 筐体
21 音声入出力ユニット
22 スピーカー
23 マイク
23A マイクアレイ
34 通信部
35 音声処理部(判定部、制御部)
36 アンプ
Claims (9)
- 複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置において、
発話者の音声を取得する第1状態か否かを判定する判定部と、
前記第1状態ではない第2状態の場合に、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得し、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者に向ける制御部と
を備えることを特徴とする集音装置。 - 前記マイクアレイは前記発話者の後方に配置され、
前記制御部は、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者の後頭部から首までの範囲に設定することを特徴とする請求項1に記載の集音装置。 - 前記制御部は、前記第2状態で取得した前記入力音声に基づいて周囲ノイズを取得し、前記第1状態の場合に、前記マイクアレイの入力音声から前記周囲ノイズを除去するノイズ除去処理を行うことを特徴とする請求項1又は2に記載の集音装置。
- 前記集音装置は、所定のスピーカーを介して音声を出力する音声出力部を有するとともに、動作モードとして、前記発話者の音声を取得する発話モードと、前記スピーカーを介して音声を出力するとともに前記発話者の音声を取得する通話モードとを備え、
前記第2状態は、前記発話モード、及び前記通話モードにおける前記発話者の音声を取得しない状態を含むことを特徴とする請求項1乃至3のいずれか一項に記載の集音装置。 - 前記動作モードとして、前記スピーカーから出力されて前記発話者で反射した反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定モードを備え、
前記第2状態は、前記位置特定モードの状態を含み、
前記第1状態では、前記位置特定モードで特定した前記発話者の位置に応じて前記マイクアレイの指向性を制御することを特徴とする請求項4に記載の集音装置。 - 前記音声出力部は、前記スピーカーを介して音声を出力する音声出力モードのときに、超音波の信号を前記スピーカーから出力してその反射音を取得し、前記反射音に基づいて前記発話者の位置を特定する位置特定処理を行うことを特徴とする請求項4に記載の集音装置。
- 前記マイクアレイと前記スピーカーは、前記発話者の後方に配置される筐体に配置されていることを特徴とする請求項4乃至6のいずれか一項に記載の集音装置。
- 前記筐体は、ヘッドレストであることを特徴とすることを特徴とする請求項7に記載の集音装置。
- 複数のマイクを並べたマイクアレイの指向性を制御可能な集音装置の制御方法において、
発話者の音声を取得する第1状態か否かを判定するステップと、
前記第1状態ではない第2状態の場合に、前記マイクアレイの指向性を前記発話者の外側、又は無指向に設定して前記マイクアレイの入力音声を取得し、前記第1状態の場合に、前記マイクアレイの指向性を前記発話者に向けるステップとを実行することを特徴とする集音装置の制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/574,008 US10237648B2 (en) | 2015-06-01 | 2016-06-01 | Sound collecting device, and method of controlling sound collecting device |
| EP16803379.3A EP3306950B1 (en) | 2015-06-01 | 2016-06-01 | Sound collecting device, and method of controlling sound collecting device |
| CN201680031579.5A CN108141663B (zh) | 2015-06-01 | 2016-06-01 | 集音装置以及集音装置的控制方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015111657A JP6611474B2 (ja) | 2015-06-01 | 2015-06-01 | 集音装置、及び集音装置の制御方法 |
| JP2015-111657 | 2015-06-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016194945A1 true WO2016194945A1 (ja) | 2016-12-08 |
Family
ID=57440639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/066181 Ceased WO2016194945A1 (ja) | 2015-06-01 | 2016-06-01 | 集音装置、及び集音装置の制御方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10237648B2 (ja) |
| EP (1) | EP3306950B1 (ja) |
| JP (1) | JP6611474B2 (ja) |
| CN (1) | CN108141663B (ja) |
| WO (1) | WO2016194945A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108401208A (zh) * | 2018-03-30 | 2018-08-14 | 斑马网络技术有限公司 | 带有收音场结构的车辆和车辆收音系统及其收音方法 |
| CN110556103A (zh) * | 2018-05-31 | 2019-12-10 | 阿里巴巴集团控股有限公司 | 音频信号处理方法、装置、系统、设备和存储介质 |
| CN111527542A (zh) * | 2017-12-29 | 2020-08-11 | 哈曼国际工业有限公司 | 用于远端电信的声学车厢内噪声消除系统 |
| US12337741B2 (en) * | 2020-11-26 | 2025-06-24 | Safran Seats | Sound control system for a seat |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018033885A2 (en) * | 2016-08-18 | 2018-02-22 | Guerrini Pierpaolo | Head support incorporating loudspeakers and system for playing multi-dimensional acoustic effects |
| WO2018101459A1 (ja) * | 2016-12-02 | 2018-06-07 | ヤマハ株式会社 | コンテンツ再生機器、収音機器、及びコンテンツ再生システム |
| US11489691B2 (en) | 2017-07-12 | 2022-11-01 | Universal Electronics Inc. | Apparatus, system and method for directing voice input in a controlling device |
| US10930276B2 (en) * | 2017-07-12 | 2021-02-23 | Universal Electronics Inc. | Apparatus, system and method for directing voice input in a controlling device |
| JP6978888B2 (ja) * | 2017-10-12 | 2021-12-08 | フォルシアクラリオン・エレクトロニクス株式会社 | 感度調整装置、車載システム、車用ヘッドレスト及び信号処理装置 |
| US10111000B1 (en) * | 2017-10-16 | 2018-10-23 | Tp Lab, Inc. | In-vehicle passenger phone stand |
| CN110843628B (zh) * | 2018-08-21 | 2023-06-20 | 安道拓(重庆)汽车部件有限公司 | 用于汽车座椅的可调式扬声装置 |
| JP7115216B2 (ja) * | 2018-10-24 | 2022-08-09 | トヨタ自動車株式会社 | 情報処理装置および情報処理方法 |
| CN110223711B (zh) * | 2019-06-03 | 2021-06-01 | 清华大学 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| KR102282104B1 (ko) * | 2019-08-07 | 2021-07-27 | 엘지전자 주식회사 | 로봇 |
| WO2021131585A1 (ja) * | 2019-12-27 | 2021-07-01 | テルモ株式会社 | 音検出システム及び情報処理装置 |
| CN111688580B (zh) * | 2020-05-29 | 2023-03-14 | 阿波罗智联(北京)科技有限公司 | 智能后视镜进行拾音的方法以及装置 |
| WO2022027031A2 (en) * | 2020-07-28 | 2022-02-03 | Tesla, Inc. | Adaptive noise cancelling system for automotive hands-free telecommunications |
| FR3116934B1 (fr) | 2020-11-27 | 2023-05-19 | Faurecia Clarion Electronics Europe | Procédé et système de traitement audio pour un système audio d’appui-tête de siège |
| JP7719582B2 (ja) * | 2021-07-30 | 2025-08-06 | パナソニックオートモーティブシステムズ株式会社 | スピーカシステム、移動体用のシート、及び、移動体 |
| US12490003B2 (en) * | 2022-05-11 | 2025-12-02 | Panasonic Intellectual Property Managment Co., Ltd. | Sound reproduction device |
| JPWO2023228961A1 (ja) * | 2022-05-24 | 2023-11-30 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005352732A (ja) * | 2004-06-10 | 2005-12-22 | Denso Corp | 車両用制御装置およびその装置を備える車両用制御システム |
| JP2010045574A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | ハンズフリー通話装置、ハンズフリー通話機能付き音響再生装置、ハンズフリー通話方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4692803B2 (ja) * | 2001-09-28 | 2011-06-01 | ソニー株式会社 | 音響処理装置 |
| WO2009019748A1 (ja) * | 2007-08-03 | 2009-02-12 | Fujitsu Limited | 受音装置、指向特性導出方法、指向特性導出装置及びコンピュータプログラム |
| JP2010010749A (ja) | 2008-06-24 | 2010-01-14 | Panasonic Corp | マイクロホン装置 |
| US8325938B2 (en) * | 2008-08-12 | 2012-12-04 | Sony Corporation | Handsfree call apparatus, acoustic reproducing apparatus with handsfree call function, and handsfree call method |
| CN201659937U (zh) * | 2010-03-12 | 2010-12-01 | 东风汽车有限公司 | 一种带有误差麦克风的汽车座椅 |
| KR101103794B1 (ko) * | 2010-10-29 | 2012-01-06 | 주식회사 마이티웍스 | 멀티 빔 음향시스템 |
| US8737634B2 (en) * | 2011-03-18 | 2014-05-27 | The United States Of America As Represented By The Secretary Of The Navy | Wide area noise cancellation system and method |
| CN105745119B (zh) | 2013-11-19 | 2020-05-12 | 歌乐株式会社 | 头枕装置以及声音采集装置 |
-
2015
- 2015-06-01 JP JP2015111657A patent/JP6611474B2/ja active Active
-
2016
- 2016-06-01 US US15/574,008 patent/US10237648B2/en active Active
- 2016-06-01 EP EP16803379.3A patent/EP3306950B1/en active Active
- 2016-06-01 WO PCT/JP2016/066181 patent/WO2016194945A1/ja not_active Ceased
- 2016-06-01 CN CN201680031579.5A patent/CN108141663B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005352732A (ja) * | 2004-06-10 | 2005-12-22 | Denso Corp | 車両用制御装置およびその装置を備える車両用制御システム |
| JP2010045574A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | ハンズフリー通話装置、ハンズフリー通話機能付き音響再生装置、ハンズフリー通話方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111527542A (zh) * | 2017-12-29 | 2020-08-11 | 哈曼国际工业有限公司 | 用于远端电信的声学车厢内噪声消除系统 |
| CN111527542B (zh) * | 2017-12-29 | 2024-11-15 | 哈曼国际工业有限公司 | 用于远端电信的声学车厢内噪声消除系统 |
| CN108401208A (zh) * | 2018-03-30 | 2018-08-14 | 斑马网络技术有限公司 | 带有收音场结构的车辆和车辆收音系统及其收音方法 |
| CN110556103A (zh) * | 2018-05-31 | 2019-12-10 | 阿里巴巴集团控股有限公司 | 音频信号处理方法、装置、系统、设备和存储介质 |
| CN110556103B (zh) * | 2018-05-31 | 2023-05-30 | 阿里巴巴集团控股有限公司 | 音频信号处理方法、装置、系统、设备和存储介质 |
| US12337741B2 (en) * | 2020-11-26 | 2025-06-24 | Safran Seats | Sound control system for a seat |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108141663B (zh) | 2020-05-12 |
| EP3306950A1 (en) | 2018-04-11 |
| JP2016225884A (ja) | 2016-12-28 |
| JP6611474B2 (ja) | 2019-11-27 |
| US10237648B2 (en) | 2019-03-19 |
| EP3306950A4 (en) | 2019-01-02 |
| CN108141663A (zh) | 2018-06-08 |
| EP3306950B1 (en) | 2020-07-08 |
| US20180295443A1 (en) | 2018-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6611474B2 (ja) | 集音装置、及び集音装置の制御方法 | |
| US8325938B2 (en) | Handsfree call apparatus, acoustic reproducing apparatus with handsfree call function, and handsfree call method | |
| KR102887749B1 (ko) | 차량 오디오 시스템을 위한 공간 음성 분리 기능을 갖는 보이스 더킹 | |
| EP1116961B1 (en) | Method and system for tracking human speakers | |
| CN104136299B (zh) | 用于在车内对声音进行导向的系统、方法以及装置 | |
| JP7049803B2 (ja) | 車載装置および音声出力方法 | |
| JP2017083600A (ja) | 車載収音装置及び収音方法 | |
| US11765506B2 (en) | Automobile audio system | |
| JP7312180B2 (ja) | 遠端電気通信のための車室内音響雑音消去システム | |
| JPH05344584A (ja) | 音響装置 | |
| WO2017056706A1 (ja) | 車載音響装置 | |
| JP2017069806A (ja) | スピーカアレイ装置 | |
| EP2482566B1 (en) | Method for generating an audio signal | |
| US20100226506A1 (en) | Headrest sound system | |
| JP5405130B2 (ja) | 音再生装置および音再生方法 | |
| US20220189450A1 (en) | Audio processing system and audio processing device | |
| JP3207666B2 (ja) | 車載用音響装置 | |
| JP2005328116A (ja) | 車載システム | |
| JP2001095646A (ja) | ヘッドレスト | |
| JP2019186772A (ja) | ポータブルオーディオシステム | |
| JP2006293145A (ja) | 能動振動制御装置及び能動振動制御方法 | |
| Linhard et al. | Passenger in-car communication enhancement | |
| WO2010109614A1 (ja) | 音声信号処理装置及び音声信号処理方法 | |
| JP2020053751A (ja) | 聴覚支援システム、出力制御装置、及び電子機器 | |
| JP2023113171A (ja) | 音声処理装置、音声処理方法、音声処理プログラム、および音声処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16803379 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15574008 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2016803379 Country of ref document: EP |