ES2937232T3 - Dispositivo para enfatizar sonido objetivo, dispositivo de aprendizaje de parámetros de estimación de ruido, método para enfatizar sonido objetivo, método de aprendizaje de parámetros de estimación de ruido y programa - Google Patents
Dispositivo para enfatizar sonido objetivo, dispositivo de aprendizaje de parámetros de estimación de ruido, método para enfatizar sonido objetivo, método de aprendizaje de parámetros de estimación de ruido y programa Download PDFInfo
- Publication number
- ES2937232T3 ES2937232T3 ES17881038T ES17881038T ES2937232T3 ES 2937232 T3 ES2937232 T3 ES 2937232T3 ES 17881038 T ES17881038 T ES 17881038T ES 17881038 T ES17881038 T ES 17881038T ES 2937232 T3 ES2937232 T3 ES 2937232T3
- Authority
- ES
- Spain
- Prior art keywords
- noise
- microphone
- probability
- transfer function
- noise estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
La presente invención proporciona un dispositivo de aprendizaje de parámetros de estimación de ruido capaz de enfatizar un sonido objetivo usando un método de sustracción espectral mientras coordina una pluralidad de micrófonos dispuestos en ubicaciones distantes incluso en un espacio grande que tiende a causar reverberación problemática o diferencia de marco de tiempo. El dispositivo de aprendizaje de parámetros de estimación de ruido, que sirve para aprender un parámetro de estimación de ruido que se utiliza para la estimación del ruido incluido en una señal de observación adquirida de la pluralidad de micrófonos, comprende: una unidad de modelado para modelar la distribución de probabilidad de la señal de observación desde un micrófono prescrito, modelar la distribución de probabilidad de una diferencia de marco de tiempo y modelar la distribución de probabilidad de una ganancia de función de transferencia; una unidad de establecimiento de la función de probabilidad para establecer una función de probabilidad asociada con la diferencia de marco de tiempo y una función de probabilidad asociada con la ganancia de la función de transferencia sobre la base de la distribución de probabilidad modelada; y una unidad de actualización de parámetros para actualizar repetidamente una variable para las dos funciones de probabilidad alternativamente y generar la diferencia de marco de tiempo y la ganancia de la función de transferencia después de la convergencia como un parámetro de estimación de ruido. (Traducción automática con Google Translate, sin valor legal)
Description
DESCRIPCIÓN
Dispositivo para enfatizar sonido objetivo, dispositivo de aprendizaje de parámetros de estimación de ruido, método para enfatizar sonido objetivo, método de aprendizaje de parámetros de estimación de ruido y programa
[CAMPO TÉCNICO]
La presente invención se refiere a una técnica que hace que múltiples micrófonos dispuestos en posiciones distantes cooperen entre sí en un espacio grande y mejora un sonido objetivo, y se refiere a un dispositivo de mejora del sonido objetivo, un dispositivo de aprendizaje de parámetros de estimación de ruido, un método de mejora del sonido objetivo, un método de aprendizaje de parámetros de estimación de ruido y un programa.
[TÉCNICA ANTERIOR]
La formación de haces utilizando una matriz de micrófonos es una técnica típica para suprimir el ruido que llega en una dirección determinada. Para recoger sonidos de deportes con fines de transmisión, en lugar del uso de formación de haces, a menudo se usa un micrófono direccional, como un micrófono de cañón o un micrófono parabólico. En cada técnica, se mejora un sonido que llega en una dirección predeterminada y se suprimen los sonidos que llegan en otras direcciones.
Se analiza una situación en la que en un espacio grande, como un estadio de béisbol, un campo de fútbol o una fábrica, solo se pretende recoger un sonido objetivo. Los ejemplos específicos incluyen la recogida de sonidos de bateo y voces de árbitros en el caso de un estadio de béisbol, y la recogida de sonidos de funcionamiento de una determinada máquina de fabricación en el caso de una fábrica. En tal entorno, el ruido a veces llega en la misma dirección que el sonido objetivo. Por consiguiente, la técnica descrita anteriormente no solo puede mejorar el sonido objetivo.
Las técnicas para suprimir el ruido que llega en la misma dirección que el sonido objetivo incluyen el enmascaramiento de tiempo-frecuencia. A continuación, tales métodos se describen utilizando fórmulas. Se asume que los números de la parte superior derecha de X que representan una señal observada y de H que representan las características de transferencia, que aparecen en las siguientes fórmulas, significan los números de identificación (índices) de los micrófonos correspondientes. Por ejemplo, en un caso en que el número superior derecho es (1), se supone que el micrófono correspondiente es el "primer micrófono". Se supone que el "primer micrófono" que aparece en la siguiente descripción es un micrófono predeterminado para observar siempre un sonido objetivo. Es decir, una señal observada X(1) observada por el "primer micrófono" se supone que es una señal observada predeterminada que siempre incluye el sonido objetivo, y se supone que es una señal observada apropiada para una señal utilizada para mejorar la fuente de sonido.
Mientras tanto, en la siguiente descripción, también aparece el "micrófono m-ésimo". La representación del "micrófono m-ésimo" significa un "micrófono seleccionado libremente" con respecto al "primer micrófono".
Por consiguiente, en los casos del "primer micrófono" y el "m-ésimo micrófono", los números de identificación son conceptuales. No hay posibilidad de que la posición y las características del micrófono sean identificadas por el número de identificación. Por ejemplo, en el caso de un estadio de béisbol, la representación del "primer micrófono" no significa que el micrófono resida en una posición predeterminada, como "detrás del plato", por ejemplo. El "primer micrófono" significa el micrófono predeterminado adecuado para la observación del sonido objetivo. Por consiguiente, cuando la posición del sonido objetivo se mueve, la posición del "primer micrófono" se mueve correspondientemente (más correctamente, el número de identificación (índice) asignado al micrófono se cambia apropiadamente según el movimiento del sonido objetivo).
En primer lugar, se supone que una señal observada recogida por formación de haces o un micrófono direccional es X <v t6C°*t . Aquí, we{1,..., 0} y t e {1,..., T} son los índices de la frecuencia y del tiempo, respectivamente. En un caso donde el sonido objetivo se asume que es S(1)w, TeC0*T y un grupo de ruido que no ha sido suficientemente suprimido se asume que es Nw, TeC°*T, la señal observada se puede describir de la siguiente manera.
[Fórmula 1]
Aquí, Hw (1) son las características de transferencia desde la posición de sonido objetivo a la posición del micrófono. La fórmula (1) muestra que la señal observada del (primer) micrófono predeterminado incluye el sonido objetivo y el ruido. El enmascaramiento de tiempo-frecuencia obtiene una señal Yw , t que incluye un sonido objetivo mejorado, usando la máscara de tiempo-frecuencia Gw , t. Aquí, una máscara de tiempo-frecuencia ideal Gw , TA{ideal} se puede obtener mediante la siguiente fórmula.
[Fórmula 2]
ideal
Ü),T
Sin embargo, |HW(1)S(1)W, t| y |NU, t| son desconocidos. Por consiguiente, es necesario que estos términos sean estimados utilizando la señal observada y otra información.
El enmascaramiento de tiempo-frecuencia basado en el método de sustracción espectral es un método que se utiliza si |N V t| se puede estimar de cierta manera. La máscara de tiempo-frecuencia se determina de la siguiente manera utilizando el ¡NV t| estimado.
[Fórmula 3]
Un método típico para estimar |N V t| es un método para usar un componente estacionario de |X(1)W, t| (bibliografía no de patentes 1). Sin embargo, Nw, t6C°xT incluye ruido no estacionario, como sonidos de tambores en un campo deportivo y sonidos de remachado en una fábrica. Por consiguiente, se requiere que |NU, t| sea estimado mediante otro método.
Un método para estimar intuitivamente |NU, t| puede ser un método para observar directamente el ruido a través de un micrófono. Parece que en un caso de un estadio de béisbol, se adjunta un micrófono en la grada de los jardines, y los aplausos |X(m)w, t| son recogidos y corregidos, como sigue, asumiendo una mezcla instantánea, y se obtiene |N V t|.
[Fórmula 4]
Aquí, Hw(m) son las características de transferencia de un m-ésimo micrófono a un micrófono que sirve como principal.
[BIBLIOGRAFÍA DE LA TÉCNICA ANTERIOR]
[BIBLIOGRAFÍA NO DE PATENTES]
Bibliografía no de patentes 1: S. Boll, "Suppression of acoustic noise in speech using spectral subtraction", IEEE Trans. ASLP, 1979.
[COMPENDIO DE LA INVENCIÓN]
[PROBLEMAS A RESOLVER MEDIANTE LA INVENCIÓN]
Desafortunadamente, para eliminar ruido utilizando múltiples micrófonos dispuestos en posiciones lo suficientemente separadas entre sí en un espacio grande, como un campo de deportes, existen los dos problemas siguientes.
<Problema de reverberación>
En un caso donde la frecuencia de muestreo es 48,0 [kHz] y la anchura de análisis de la transformada de Fourier de tiempo corto (STFT) es 512, el período de tiempo de reverberación (respuesta de impulso) que puede describirse como mezcla instantánea es 10 [ms]. Típicamente, el período de tiempo de reverberación en un campo deportivo o en una fábrica es igual o mayor que este período de tiempo. Por consiguiente, no se puede asumir un modelo de mezcla instantáneo simple.
<Problema de la diferencia de tramas de tiempo>
Por ejemplo, en un estadio de béisbol, la grada del jardín y la base están separadas unos 100 [m]. En un caso en que la velocidad del sonido sea C = 340 [m/s], los vítores en la tribuna del jardín llegan unos 300 [ms] más tarde. En un caso donde la frecuencia de muestreo es 48,0 [kHz] y la anchura de desplazamiento STFT es 256, se tiene una diferencia de tramas de tiempo de
[Fórmula 5]
P « 60
Debido a esta diferencia de tramas de tiempo, no se puede ejecutar un método de sustracción espectral simple.
Por consiguiente, la presente invención tiene el objetivo de dar a conocer un dispositivo de aprendizaje de parámetros de estimación de ruido según el cual, incluso en un espacio grande que provoca el problema de la reverberación y de la diferencia de tramas de tiempo, múltiples micrófonos dispuestos en posiciones distantes cooperan entre sí, y se ejecuta un método de sustracción espectral, lo que permite mejorar el sonido objetivo.
[MEDIOS PARA SOLUCIONAR LOS PROBLEMAS]
La presente invención da a conocer un dispositivo y un método de mejora del sonido objetivo, un dispositivo y un método de aprendizaje de parámetros de estimación de ruido, y programas que hacen que un ordenador funcione respectivamente como los dispositivos, de acuerdo con las reivindicaciones independientes. Las realizaciones preferidas se describen en las respectivas reivindicaciones dependientes.
Un dispositivo de aprendizaje de parámetros de estimación de ruido según la presente invención es un dispositivo de aprendizaje de parámetros de estimación de ruido utilizado para estimar el ruido incluido en señales observadas a través de una pluralidad de micrófonos, comprendiendo el dispositivo de aprendizaje de parámetros de estimación de ruido: una parte de modelización; una parte de establecimiento de la función de probabilidad; y una parte de actualización de parámetros.
La parte de modelización modeliza una distribución de probabilidad de señales observadas del micrófono predeterminado entre la pluralidad de micrófonos, modeliza una distribución de probabilidad de diferencias de tramas de tiempo provocadas según una diferencia de posición relativa entre el micrófono predeterminado, el micrófono seleccionado libremente y la fuente de ruido, y modeliza una distribución de probabilidad de ganancias de la función de transferencia provocadas según la diferencia de posición relativa entre el micrófono predeterminado, el micrófono seleccionado libremente y la fuente de ruido.
La parte de establecimiento de la función de probabilidad establece una función de probabilidad relativa a la diferencia de tramas de tiempo y una función de probabilidad relativa a la ganancia de la función de transferencia, en función de las distribuciones de probabilidad modelizadas.
La parte de actualización de parámetros actualiza de manera alterna y repetitiva una variable de la función de probabilidad relativa a la diferencia de tramas de tiempo y una variable de la función de probabilidad relativa a la ganancia de la función de transferencia, y entrega la diferencia de tramas de tiempo convergente y la ganancia de la función de transferencia, como los parámetros de estimación de ruido.
[RESULTADOS DE LA INVENCIÓN]
De acuerdo con el dispositivo de aprendizaje de parámetros de estimación de ruido de la presente invención, incluso en un espacio grande que provoca un problema de reverberación y de diferencia de tramas de tiempo, varios micrófonos dispuestos en posiciones distantes cooperan entre sí y se ejecuta un método de sustracción espectral, permitiendo de ese modo mejorar el sonido objetivo.
[BREVE DESCRIPCIÓN DE LOS DIBUJOS]
La figura 1 es un diagrama de bloques que muestra una configuración de un dispositivo de aprendizaje de parámetros de estimación de ruido de la realización 1;
la figura 2 es un diagrama de flujo que muestra el funcionamiento del dispositivo de aprendizaje de parámetros de estimación de ruido de la realización 1;
la figura 3 es un diagrama de flujo que muestra el funcionamiento de una parte de modelización de la realización 1;
la figura 4 es un diagrama de flujo que muestra el funcionamiento de una parte de establecimiento de la función de probabilidad de la realización 1;
la figura 5 es un diagrama de flujo que muestra el funcionamiento de una parte de actualización de parámetros de la realización 1;
la figura 6 es un diagrama de bloques que muestra una configuración de un dispositivo de mejora del sonido objetivo de la realización 2;
la figura 7 es un diagrama de flujo que muestra el funcionamiento del dispositivo de mejora del sonido objetivo de la realización 2; y
La figura 8 es un diagrama de bloques que muestra una configuración de un dispositivo de mejora del sonido objetivo de la Modificación 2.
[DESCRIPCIÓN DETALLADA DE LAS REALIZACIONES]
Las realizaciones de la presente invención se describen a continuación en detalle. A los componentes que tienen las mismas funciones se asignan los mismos numerales y se omite la descripción redundante.
[Realización 1]
La realización 1 resuelve los dos problemas. La realización 1 da a conocer una técnica para estimar la diferencia de tramas de tiempo y la reverberación para hacer que micrófonos dispuestos en posiciones muy separadas en un espacio grande cooperen entre sí para mejorar la fuente de sonido. Específicamente, la diferencia de tramas de tiempo y la reverberación (ganancia de la función de transferencia (Nota *1)) se describen en un modelo estadístico y se estiman con respecto a una referencia de maximización de probabilidad para una señal observada. Para modelizar la reverberación que está provocada por una distancia suficientemente separada y que no puede ser descrita por una mezcla instantánea, la modelización se realiza por convolución del espectro de amplitud de la fuente de sonido y de la ganancia de la función de transferencia en el dominio de tiempo-frecuencia.
(Nota *1) La reverberación se puede describir como una función de transferencia en el dominio de frecuencia, y la ganancia de la misma se denomina ganancia de la función de transferencia.
A continuación, haciendo referencia a la figura 1, se describe un dispositivo de aprendizaje de parámetros de estimación de ruido en la realización 1. Como se muestra en la figura 1, el dispositivo de aprendizaje de parámetros de estimación de ruido 1 en esta realización incluye una parte de modelización 11, una parte de establecimiento de la función de probabilidad 12 y una parte de actualización de parámetros 13. Más detalladamente, la parte de modelización 11 incluye una parte de modelización de señal observada 111, una parte de modelización de diferencias de tramas de tiempo 112 y una parte de modelización de ganancia de la función de transferencia 113 La parte de establecimiento de la función de probabilidad 12 incluye una parte de establecimiento de función objetivo 121, una parte logarítmica 122 y una parte de factorización de términos 123. La parte de actualización de parámetro 13 incluye una parte de actualización de ganancia de la función de transferencia 131, una parte de actualización de diferencia de tramas de tiempo 132 y una parte de determinación de convergencia 133.
A continuación, haciendo referencia a la figura 2, se describe una visión general del funcionamiento del dispositivo de aprendizaje de parámetros de estimación de ruido 1 en esta realización.
Primero, la parte de modelización 11 modeliza la distribución de probabilidad de las señales observadas de un micrófono predeterminado (primer micrófono) entre la pluralidad de micrófonos, modeliza la distribución de probabilidad de las diferencias de tramas de tiempo provocadas según la diferencia de posición relativa entre el micrófono predeterminado, un micrófono seleccionado libremente (micrófono m-ésimo) y una fuente de ruido, y modeliza la distribución de probabilidad de ganancias de la función de transferencia provocadas según la diferencia de posición relativa entre el micrófono predeterminado, el micrófono seleccionado libremente y la fuente de ruido (S11).
A continuación, la parte de establecimiento de la función de probabilidad 12 establece una función de probabilidad relativa a la diferencia de tramas de tiempo, y una función de probabilidad relativa a la ganancia de la función de transferencia, en base a las distribuciones de probabilidad modelizadas (S12).
A continuación, la parte de actualización de parámetros 13 actualiza alternativa y repetitivamente una variable de la función de probabilidad relativa a la diferencia de tramas de tiempo y una variable de la función de probabilidad relativa a la ganancia de la función de transferencia, y entrega la diferencia de tramas de tiempo y la ganancia de la función de transferencia que han convergido, como los parámetros de estimación de ruido (S13).
Para describir el funcionamiento del dispositivo de aprendizaje de parámetros de estimación de ruido 1 con más detalle, se realiza la descripción requerida en el siguiente capítulo <Preparación>.
<Preparación>
A continuación, se explica la cuestión de estimar un sonido objetivo S(1)w, t de la observación a través de M micrófonos (M es un número entero de dos o más). Se supone que uno o más de los micrófonos están colocados (Nota *2) en posiciones lo suficientemente separadas de un micrófono que sirve como principal.
(Nota *2) una distancia que provoca una diferencia de tiempo de llegada igual o mayor que la anchura de desplazamiento de la transformada de Fourier de tiempo corto (STFT). Es decir, una distancia que provoca la diferencia de tramas de tiempo en el análisis de tiempo-frecuencia. Por ejemplo, en un caso donde el intervalo del micrófono es de 2 [m] o más con la velocidad sónica de C = 340 [m/s], la frecuencia de muestreo de 48,0 [kHz] y la anchura de desplazamiento STFT de 512, se produce la diferencia de tramas de tiempo. Es decir, esto significa que
la señal observada es una señal obtenida por transformación de frecuencia de una señal acústica recogida por el micrófono, y la diferencia de dos tiempos de llegada es igual o mayor que la anchura de desplazamiento de la transformación de frecuencia, siendo los tiempos de llegada el tiempo de llegada del ruido desde la fuente de ruido al micrófono predeterminado y el tiempo de llegada del ruido desde la fuente de ruido al micrófono seleccionado libremente.
El número de identificación del micrófono predeterminado dispuesto más cerca de S(1)w, t se asume como uno. Su señal observada X(1)w, t se supone que se obtiene mediante la fórmula (1). Se supone que en un espacio hay fuentes puntuales de ruido M-1 (por ejemplo, anuncios por megafonía) o un grupo de fuentes puntuales de ruido (por ejemplo, los vítores de los aficionados)
[Fórmula 6]
También se supone que el m-ésimo micrófono está dispuesto junto a la m-ésima (m = 2,..., M) fuente de ruido. Se supone que junto al m-ésimo micrófono, se cumple
[Fórmula 7]
También se supone que la señal observada X(m)ü’ 6 puede describirse aproximadamente como
[Fórmula 8]
La fórmula (7) muestra que la señal observada del micrófono(m-ésimo) seleccionado libremente incluye ruido. Se supone que el ruido Nw, t que llega al primer micrófono consiste sólo en
[Fórmula 9]
El espectro de amplitud del mismo se puede describir aproximadamente como sigue.
[Fórmula 10]
Aquí, Pm6N+ es la diferencia de tramas de tiempo en el dominio de tiempo-frecuencia, produciéndose la diferencia según la diferencia de posición relativa entre el primer micrófono, el m-ésimo micrófono y la fuente de ruido S(m)w, t. Aquí a(mWeR+ es la ganancia de la función de transferencia, que se genera de acuerdo con la diferencia de posición relativa entre el primer micrófono, el m-ésimo micrófono y la fuente de ruido S(m)w, t.
A continuación, se muestra en detalle la descripción de la reverberación debida a la convolución entre el espectro de amplitud de la fuente de sonido
[Fórmula 11]
V ( m )
a > ,T -P m - k
y la ganancia de la función de transferencia a(m)wk en el dominio de tiempo-frecuencia. En un caso en que el número de toques de la respuesta al impulso es mayor que la anchura de análisis de la transformada de Fourier de tiempo corto (STFT), las características de transferencia no pueden describirse mediante una mezcla instantánea en el
dominio de tiempo-frecuencia (bibliografía no de patentes 1 de referencia) . Por ejemplo, en un caso donde la frecuencia de muestreo es 48,0 [kHz] y la anchura de análisis de STFT es 512, el período de tiempo de reverberación (respuesta de impulso) que puede describirse como mezcla instantánea es 10 [ms]. Típicamente, el período de tiempo de reverberación en un campo deportivo o en una fábrica es igual o mayor que este período de tiempo. Por consiguiente, no se puede asumir un modelo de mezcla instantáneo simple. Para describir aproximadamente una reverberación larga, se supone que llega la m-ésima fuente de sonido, con convolución del espectro de amplitud de X(m)w, t con la ganancia de la función de transferencia a(mW en el dominio del tiempofrecuencia. La bibliografía no de patentes 1 de referencia describe esto con convolución espectral compleja. La presente invención describe esto con un espectro de amplitud en aras de una descripción más sencilla.
(Bibliografía no de patentes 1 de referencia: T. Higuchi y H. Kameoka, "Joint audio source separation and dereverberation based on multichannel factorial hidden Markov model", en Proc MLSP 2014, 2014.)
De acuerdo con la discusión anterior, basada en la fórmula (8), una posible estimación de la diferencia de tramas de tiempo P2....m de las fuentes de ruido y la ganancia de la función de transferencia
puede, a su vez, estimar el espectro de amplitud del ruido. Por consiguiente, se puede ejecutar el método de sustracción espectral. Es decir, en esta realización y en la realización 2, se estima
[Fórmula 13]
y se ejecuta el método de sustracción espectral, lo que permite que el sonido objetivo se recoja en el espacio grande.
Primero, se supone que la fórmula (1) se cumple incluso en el dominio del espectro de amplitud, y |X(1)w, t| se describe aproximadamente como sigue.
[Fórmula 14]
Aquí, para simplificar la descripción, Hw(1) se omite. Para representar todos los intervalos de frecuencia w e {1,..., 0} y t e {1,..., T} al mismo tiempo, la fórmula (9) se representa con las siguientes operaciones matriciales.
[Fórmula 15]
x ) 11 * s f ’ j v - í i o )
Tenga en cuenta que ° es un producto de Hadamard. Aquí,
[Fórmula 16]
( M )
a ( 2 )
- (> , a >"(19)
a (m) ( m ) ( m )
= (■ £L , ... , ü K > " ( 20 )
diag(x) representa una matriz diagonal que tiene un vector x como elementos diagonales. Aquí, S(1)w, t a menudo es dispersa en la dirección de la trama de tiempo (el sonido objetivo no está presente casi durante el período de tiempo). En un ejemplo específico, esto significa que los sonidos de las patadas de los balones de fútbol y las voces de los árbitros son temporalmente cortos y rara vez ocurren. Por consiguiente, durante la mayor parte del tiempo, vale la
[Fórmula 17)
J C = jV r -(2 l)
<Funcionamiento detallado de la parte de modelización 11>
A continuación, haciendo referencia a la figura 3, se describen los detalles del funcionamiento de la parte de modelización 11. Los datos requeridos para el aprendizaje se introducen en la parte de modelización de señal observada 111. Específicamente, se introduce la señal observada
[Fórmula IB]
La parte de modelización de señales observadas 111 modeliza la distribución de probabilidad de la señal observada X(1)t del micrófono predeterminado con una distribución gaussiana donde Nt es el promedio y se adopta una matriz de covarianza diag(o)
[Fórmula 19]
w (N T,diag(o-2))
(S111).
[Fórmula 20]
Aquí, A = (diag(o))-1. o = (oí on)T es la potencia de x(1)t para cada frecuencia, y se obtiene mediante
[Fórmula 21]
Esto es para corregir la diferencia de promedios de amplitudes para las frecuencias.
La señal observada se puede transformar de la forma desde la onda de tiempo en el espectro complejo utilizando un método, como STFT. En cuanto a la señal observada, en un caso de aprendizaje por lotes, se introduce X(m)w, t para M canales obtenidos mediante la aplicación de la transformada de Fourier de tiempo corto a los datos de aprendizaje. En un caso de aprendizaje en línea, se introduce lo que se obtiene al almacenar datos en memoria intermedia para T tramas. Aquí, el tamaño de la memoria intermedia debe ajustarse de acuerdo con la diferencia de tramas de tiempo y la duración de la reverberación, y puede configurarse para que sea aproximadamente T = 500. Los parámetros de distancia de los micrófonos y los parámetros de procesamiento de señal se introducen en la parte de modelización de diferencias de tramas de tiempo 112. Los parámetros de distancia de los micrófonos incluyen distancias de micrófonos ^ 2..m, y el valor mínimo y el valor máximo de la distancia de la fuente de sonido estimados a partir de las distancias de micrófonos ^ 2..m
[Fórmula 22]
Los parámetros de procesamiento de señal incluyen el número de K tramas, la frecuencia de muestreo fs, la anchura del análisis STFT y la anchura de desplazamiento fdesplazamiento. Aquí, se recomienda K = 15 y similares. Los parámetros de procesamiento de señal pueden establecerse en conformidad con el entorno de grabación. Cuando la frecuencia de muestreo es de 16,0 [kHz], la anchura de análisis se puede establecer en aproximadamente 512 y la longitud de desplazamiento se puede establecer en aproximadamente 256.
La parte de modelización de diferencias de tramas de tiempo 112 modeliza la distribución de probabilidad de las diferencias de tramas de tiempo con una distribución de Poisson (S112). En caso de que el m-ésimo micrófono se coloque junto a la m-ésima fuente de ruido, Pm se puede estimar aproximadamente por las distancias entre el primer micrófono y el m-ésimo micrófono. Es decir, siempre que la distancia entre el primer micrófono y el m-ésimo micrófono sea ^m, la velocidad del sonido es C, la frecuencia de muestreo es fs, y la anchura de desplazamiento STFT es fdesplazamiento, la diferencia de tramas de tiempo Dm se obtiene aproximadamente mediante
[Fórmula 23]
Aquí, redondeo {•} indica redondear a un número entero. Sin embargo, en realidad, la distancia entre el m-ésimo micrófono y la m-ésima fuente de ruido no es cero. Por consiguiente, Pm puede fluctuar estocásticamente en la proximidad de Dm. Para modelizar esto, la parte de modelización de diferencias de tramas de tiempo 112 modeliza la distribución de probabilidad de la diferencia de tramas de tiempo con una distribución de Poisson que tiene el valor promedio Dm (S112).
[Fórmula 24]
Los parámetros de ganancia de la función de transferencia se introducen en la parte de modelización de ganancia de la función de transferencia 113. Los parámetros de ganancia de la función de transferencia incluyen el valor inicial de la ganancia de la función de transferencia,
el valor medio ak de la ganancia de la función de transferencia, la ponderación de atenuación de tiempo p de la ganancia de la función de transferencia y el tamaño del paso A. Si hay algún conocimiento, el valor inicial de la ganancia de la función de transferencia se puede establecer correspondientemente. Por el contrario, sin ningún conocimiento, el valor puede fijarse en
[Fórmula 26]
Asimismo, si hay algún conocimiento, ak puede configurarse correspondientemente. Sin ningún conocimiento, para reducir ak según el paso de trama, ak puede configurarse de la siguiente manera.
[Fórmula 27]
a k =max(a-j0fc, £•)••• (27)
Aquí, a es el valor de a0, p es la ponderación de atenuación de acuerdo con el paso de la trama, y £ es un pequeño coeficiente para evitar la división por cero. Para varios parámetros, se recomienda a = 1,0 o parecido, p = 0,05 y A = 10-3 o parecido.
La parte de modelización de ganancia de la función de transferencia 113 modeliza la distribución de probabilidad de las ganancias de la función de transferencia con una distribución exponencial (S113). a(m)Wk es un número real positivo. En general, el valor de la ganancia de la función de transferencia aumenta con el aumento del tiempo k. Para modelizar esto, la parte de modelización de ganancias de la función de transferencia 113 modeliza la distribución de probabilidad de las ganancias de la función de transferencia con una distribución exponencial que tiene el valor promedio ak (S113).
[Fórmula 28]
Como se describió anteriormente, se pueden definir las distribuciones de probabilidad para la señal observada y cada parámetro. En esta realización, los parámetros se estiman maximizando la probabilidad.
<Funcionamiento detallado de la parte de establecimiento de la función de probabilidad 12>
A continuación, haciendo referencia a la figura 4, se describen los detalles del funcionamiento de la parte de establecimiento de la función de probabilidad 12. Específicamente, la parte de establecimiento de la función objetivo 121 establece la función objetivo de la siguiente manera, sobre la base de la distribución de probabilidad modelizada (S121).
[Fórmula 29]
Aquí,
[Fórmula 30]
se requiere que tenga un valor no negativo. Por consiguiente, esta optimización es un problema de maximización multivariable con una limitación de L como sigue.
[Fórmula 31]
Aquí, L tiene la forma de un producto de valor de probabilidad. Por consiguiente, existe la posibilidad de que se produzca un subdesbordamiento durante el cálculo. Por consiguiente, se aprovecha el hecho de que una función logarítmica es una función monótonamente creciente, y se toman los logaritmos de ambos lados. Específicamente, la parte logarítmica 122 toma logaritmos de ambos lados de la función objetivo y transforma las fórmulas (34) y (33) como sigue (S122).
[Fórmula 32]
Aquí,
[Fórmula 33]
L = ln(L)
Cada elemento se puede describir de la siguiente manera.
[Fórmula 34]
La transformación anterior facilita la maximización de cada función de probabilidad que constituye
[Fórmula 35]
L
La fórmula (35) consigue la maximización utilizando el método de descenso de coordenadas (CD). Específicamente, la parte 123 de factorización de términos factoriza la función de probabilidad (función objetivo logarítmica) en un término relacionado con a (un término relacionado con la ganancia de la función de transferencia) y un término relacionado con P (un término relacionado con la diferencia de tramas de tiempo) ( S123).
[Fórmula 36]
La optimización alternativa de cada variable (actualización repetitiva) maximiza aproximadamente
[Fórmula 37]
L
[Fórmula 38]
P2 M <— arg max Lp • • • (43)
0
La fórmula (42) es optimización con la limitación. Por consiguiente, la optimización se consigue utilizando el método de gradiente proximal.
<Funcionamiento detallado de la parte de actualización de parámetros 13>
A continuación, haciendo referencia a la figura 5, se describen los detalles del funcionamiento de la parte de actualización de parámetros 13. La parte de actualización de la ganancia de la función de transferencia 131 asigna una restricción que limita la ganancia de la función de transferencia a un valor no negativo, y actualiza repetidamente la variable de la función de probabilidad relativa a la ganancia de la función de transferencia por el método de gradiente proximal (S131).
Más detalladamente, la parte de actualización de ganancia de la función de transferencia 131 obtiene el vector gradiente de
[Fórmula 39]
L a con respecto a
a
mediante la siguiente fórmula.
[Fórmula 40]
dL„ 3 ¿ x : A ( - ^ 1,+ X ra ) - a -( 4 4 ) da 1 r =i
La ejecución se realiza mediante la optimización repetitiva de realizar alternativamente el método de gradiente de la fórmula (47) y la minimización de la fórmula (48).
[Fórmula 41]
Aquí, A es un tamaño de salto de actualización. El número de repeticiones del método de gradiente, es decir, las fórmulas (47) y (48), es de unas 30 en el caso del aprendizaje por lotes, y de una en el caso del aprendizaje en línea. El gradiente de la fórmula (44) se puede ajustar usando un término inercial (bibliografía no patente 2 de referencia) o similar.
(Bibliografía no de patentes 2 de referencia : Hideki Asoh y otros 7 autores, "ShinSo GakuShu, Deep Learning", Kindai kagaku sha Co., Ltd., nov. 2015).
La fórmula (43) es una optimización combinatoria de variables discretas. Por consiguiente, la actualización se realiza mediante búsqueda en cuadrícula. Específicamente, la parte de actualización de diferencia de tramas de tiempo 132 define el valor máximo posible y el valor mínimo de Pm para cada m, evalúa, para cada combinación del mínimo y máximo para Pm, la función de probabilidad relacionada con la diferencia de tramas de tiempo
y actualiza Pm con la combinación de maximizar la función (S 132). Para uso práctico, se introduce el valor mínimo [Fórmula 43]
y el valor máximo
[Fórmula 44]
estimados de cada distancia de micrófono 92....m , y el valor máximo y mínimo posible para Pm puede calcularse a partir de esto. El valor máximo y el valor mínimo de la distancia de la fuente de sonido deben establecerse en conformidad con el entorno, y pueden establecerse en alrededor de 9mmin = 9m-20 y 9mmáximo = 9m+20.
La actualización anterior se puede ejecutar mediante un proceso por lotes de estimación preliminar de 0 utilizando los datos de aprendizaje. En un caso en el que se pretenda un proceso en línea, la señal observada puede almacenarse en memoria intermedia durante un cierto período de tiempo y luego puede ejecutarse la estimación de 0 utilizando la memoria intermedia.
Una vez que 0 se estima con éxito mediante la actualización anterior, el ruido se puede estimar mediante la fórmula (8) y el sonido objetivo se puede mejorar mediante las fórmulas (4) y (5).
La parte de determinación de convergencia 133 determina si el algoritmo ha convergido o no (S133). En cuanto a la condición de convergencia, en el caso del aprendizaje por lotes, el método de determinación puede ser, por ejemplo, la suma de valores absolutos de la cantidad de actualización de a(m)Wk, si los tiempos de aprendizaje son iguales o superiores a un número predeterminado (por ejemplo, 1000 veces) o similar. En el caso del aprendizaje en línea, dependiendo de la frecuencia del aprendizaje, el aprendizaje puede finalizar después de un cierto número de repeticiones de aprendizaje (por ejemplo, de 1 a 5).
Cuando el algoritmo converge (S133Y), la parte de determinación de convergencia 133 entrega la diferencia de tramas de tiempo convergente y la ganancia de la función de transferencia como parámetro de estimación de ruido 0.
Como se describió anteriormente, de acuerdo con el dispositivo de aprendizaje de parámetros de estimación de ruido 1 de esta realización, incluso en un espacio grande que provoca un problema de reverberación y la diferencia de tramas de tiempo, múltiples micrófonos dispuestos en posiciones distantes cooperan entre sí, y se ejecuta el método de sustracción espectral, lo que permite mejorar el sonido objetivo.
[Realización 2]
En la realización 2, se describe un dispositivo de mejora del sonido objetivo que es un dispositivo para mejorar el sonido objetivo sobre la base del parámetro de estimación de ruido 0 obtenido en la realización 1. Haciendo referencia a la figura 6, se describe la configuración del dispositivo de mejora del sonido objetivo 2 de esta realización. Como se muestra en la figura 6, el dispositivo de mejora del sonido objetivo 2 de esta realización incluye una parte de estimación de ruido 21, una parte de generación de máscara de tiempo-frecuencia 22 y una parte de filtrado 23. En lo sucesivo, haciendo referencia a la figura 7, se describe el funcionamiento del dispositivo de mejora del sonido objetivo 2 de esta realización.
Los datos requeridos para la mejora se introducen en la parte de estimación de ruido 21. Específicamente, se introduce la señal observada
[Fórmula 45]
y el parámetro de estimación de ruido 0. La señal observada se puede transformar desde la forma de onda de tiempo al espectro complejo utilizando un método, como STFT. Nótese que, para m = 2,..., M, se introduce el espectro
[Fórmula 46]
almacenado en memoria tampón de acuerdo con la diferencia de tramas de tiempo Pm y el número de tramas K de la ganancia de la función de transferencia.
La parte de estimación de ruido 21 estima el ruido incluido en las señales observadas a través de M (múltiples) micrófonos sobre la base de las señales observadas y del parámetro de estimación de ruido 0 por la fórmula (8) (S21).
El parámetro de estimación de ruido 0 y la fórmula (8) pueden interpretarse como un parámetro y una fórmula donde están asociadas entre sí una señal observada del micrófono predeterminado entre la pluralidad de micrófonos, la diferencia de tramas de tiempo provocada según la diferencia de posición relativa entre el micrófono predeterminado, el micrófono seleccionado libremente que está entre la pluralidad de micrófonos y es diferente del micrófono predeterminado y la fuente de ruido, y la ganancia de la función de transferencia provocada en función de la diferencia de posición relativa entre el micrófono predeterminado, el micrófono seleccionado libremente y la fuente de ruido.
El dispositivo de mejora del sonido objetivo 2 puede tener una configuración independiente del dispositivo de aprendizaje de parámetros de estimación de ruido 1. Es decir, independiente del parámetro de estimación de ruido 0, según la fórmula (8), la parte de estimación de ruido 21 puede asociar entre sí la señal observada del micrófono predeterminado entre la pluralidad de micrófonos, la diferencia de tramas de tiempo provocada en función de la diferencia de posición relativa entre el micrófono predeterminado, el micrófono seleccionado libremente que está entre la pluralidad de micrófonos y es diferente del micrófono predeterminado y la fuente de ruido, y la ganancia de la función de transferencia provocada según la diferencia de posición relativa entre el micrófono predeterminado, el micrófono seleccionado libremente y la fuente de ruido, y estimar el ruido incluido en señales observadas a través de una pluralidad de los micrófonos predeterminados.
La parte de generación de máscara de tiempo-frecuencia 22 genera la máscara de tiempo-frecuencia Gw, t en base al método de sustracción espectral por la fórmula (4), en base a la señal observada |X(1)W, t| del micrófono predeterminado y al ruido estimado |NW, t| (S22). La parte de generación de máscara de tiempo-frecuencia 22 puede denominarse parte de generación de filtro. La parte de generación de filtro genera un filtro, en base, por lo menos, al ruido estimado por la fórmula (4) o similar.
La parte de filtrado 23 filtra la señal observada |X(1E t| del micrófono predeterminado sobre la base de la máscara de tiempo-frecuencia generada Gw, t (fórmula (5)), y obtiene y entrega una señal acústica (Yw, t de espectro complejo) donde se mejora el sonido (sonido objetivo) presente junto al micrófono predeterminado (S23). Para devolver la Yw, t de espectro complejo a la forma de onda, se puede usar la transformada inversa de Fourier de tiempo corto (ISTFT) o similar, o se puede implementar la función de ISTFT en la parte de filtrado 23.
[Modificación 1]
La realización 2 tiene la configuración en la que la parte de estimación de ruido 21 recibe (acepta) el parámetro de estimación de ruido 0 de otro dispositivo (dispositivo de aprendizaje de parámetros de estimación de ruido 1) según se requiera. Es evidente que se puede considerar otro modo del dispositivo de mejora del sonido objetivo. Por ejemplo, como un dispositivo de mejora del sonido objetivo 2a de la modificación 1 mostrada en la figura 8, el parámetro de estimación de ruido 0 puede recibirse preliminarmente desde el otro dispositivo (dispositivo de aprendizaje de parámetros de estimación de ruido 1) y almacenarse preliminarmente en una parte de almacenamiento de parámetros 20 .
En este caso, la parte de almacenamiento de parámetros 20 almacena y mantiene preliminarmente la diferencia de tramas de tiempo y la ganancia de la función de transferencia que se han hecho converger actualizando alternativa y repetitivamente las variables de las dos funciones de probabilidad ajustadas en base a las tres distribuciones de probabilidad descritas anteriormente, como el parámetro de estimación de ruido 0.
Como se describió anteriormente, de acuerdo con los dispositivos de mejora del sonido objetivo 2 y 2a de esta realización y esta modificación, incluso en el espacio grande que provoca el problema de la reverberación y la diferencia de tramas de tiempo, los múltiples micrófonos dispuestos en posiciones distantes cooperan entre sí y se ejecuta el método de sustracción espectral, lo que permite mejorar el sonido objetivo.
<Complemento>
El dispositivo de la presente invención incluye, como una sola entidad de hardware, por ejemplo: una parte de entrada a la que se puede conectar un teclado y similares; una parte de salida a la que se puede conectar una pantalla de cristal líquido y similares; una parte de comunicación a la que se puede conectar un dispositivo de comunicación (por ejemplo, un cable de comunicación) comunicable con el exterior de la entidad de hardware; una CPU (Central Processing Unit, unidad central de procesamiento, que puede incluir una memoria caché y un registro); una RAM y una ROM, que son memorias; un dispositivo de almacenamiento externo que es un disco duro; y un bus que conecta estas parte de entrada, parte de salida, parte de comunicación, CPU, RAM, ROM y dispositivo de almacenamiento externo entre sí de una manera que permite intercambio de datos entre las mismas. La entidad de hardware puede estar dotada de un dispositivo (unidad) capaz de leer y escribir desde, y en un medio de grabación, tal como un CD-ROM, según se requiera. Una entidad física que incluye dicho recurso de hardware puede ser un ordenador de propósito general o similar.
El dispositivo de almacenamiento externo de la entidad de hardware almacena los programas necesarios para conseguir las funciones descritas anteriormente y los datos necesarios para los procesos de los programas (sin limitarse al dispositivo de almacenamiento externo; por ejemplo, los programas pueden almacenarse en una ROM,
que es un dispositivo de almacenamiento dedicado para lectura, por ejemplo). Los datos y similares obtenidos por los procesos de los programas se almacenan adecuadamente en la RAM o en el dispositivo de almacenamiento externo.
En la entidad de hardware, cada programa almacenado en el dispositivo de almacenamiento externo (o una ROM, etc.) y los datos requeridos para el proceso de cada programa se leen en la memoria, según sea necesario, y se someten de manera apropiada a análisis, ejecución y procesamiento por la CPU. Como resultado, la CPU consigue funciones predeterminadas (cada componente representado como... parte,... porción, etc. descrito anteriormente). La presente invención no se limita a las realizaciones descritas anteriormente, y se puede cambiar apropiadamente en la medida que no se aparte del espíritu de la presente invención. Los procesos descritos en las realizaciones anteriores pueden ejecutarse en forma de series de tiempo de acuerdo con el orden descrito. Alternativamente, los procesos pueden ejecutarse en paralelo o por separado, según la capacidad de procesamiento del dispositivo que ejecuta los procesos, o según se requiera.
Como se describió anteriormente, en un caso en que las funciones de procesamiento de la entidad de hardware (el dispositivo de la presente invención) descritas en las realizaciones se consiguen mediante un ordenador, los detalles de procesamiento de las funciones que llevará a cabo la entidad de hardware se describen en un programa. El programa es ejecutado por el ordenador, consiguiendo así las funciones de procesamiento en la entidad de hardware en el ordenador.
El programa que describe los detalles del procesamiento se puede grabar en un medio de grabación legible por ordenador. El medio de grabación legible por ordenador puede ser, por ejemplo, cualquiera de un dispositivo de grabación magnético, un disco óptico, un medio de grabación magnetoóptico, una memoria de semiconductor y similares. Específicamente, por ejemplo, se puede usar un dispositivo de disco duro, un disco flexible, una cinta magnética y similares como dispositivo de grabación magnética. Un DVD (disco versátil digital), un DVD-RAM (memoria de acceso aleatorio), un CD-ROM (memoria de solo lectura de disco compacto), un CD-R (grabable)/RW (reescribible) y similares pueden utilizarse como el disco óptico. Se puede usar un MO (disco magnetoóptico) y similares como medio de grabación magnetoóptica. Una EEP-ROM (Electronically Erasable and Programmable-Read Only Memory, memoria de solo lectura programable y borrable electrónicamente) y similares pueden usarse como la memoria semiconductora.
Por ejemplo, el programa puede distribuirse mediante la venta, cesión, préstamo y similares de medios de grabación portátiles, como un DVD y un CD-ROM, que graban el programa. Alternativamente, puede adoptarse una configuración que distribuya el programa almacenando el programa en el dispositivo de almacenamiento del ordenador servidor y luego transfiriendo el programa desde el ordenador servidor a otro ordenador a través de una red.
Por ejemplo, el ordenador que ejecuta tal programa almacena temporalmente, en el propio dispositivo de almacenamiento, el programa almacenado en el medio de grabación portátil o el programa transferido desde el ordenador servidor. Durante la ejecución del proceso, el ordenador lee el programa almacenado en el propio soporte de grabación y ejecuta el proceso de acuerdo con el programa leído. Alternativamente, de acuerdo con otro modo de ejecución del programa, el ordenador puede leer directamente el programa desde el medio de grabación portátil y ejecutar el proceso de acuerdo con el programa. También alternativamente, cada vez que el programa se transfiere a este ordenador desde el ordenador servidor, el proceso según el programa recibido puede ejecutarse secuencialmente. Alternativamente, se puede adoptar una configuración que no transfiera el programa a este ordenador desde el ordenador servidor, sino que ejecute los procesos descritos anteriormente mediante lo que se denomina un servicio ASP (Application Service Provider, proveedor de servicio de aplicación) que consigue las funciones de procesamiento solo a través de instrucciones de ejecución y adquisición de resultados. Se supone que el programa de este modo incluye información que debe proporcionar un ordenador para los procesos y es equivalente al programa (datos y similares que tienen características que no son instrucciones directas para el ordenador pero definen los procesos del ordenador).
En este modo, la entidad de hardware se puede configurar mediante la ejecución de un programa predeterminado en el ordenador. Alternativamente, al menos uno o algunos de los detalles de procesamiento pueden conseguirse mediante hardware.
Claims (10)
1. Un dispositivo de mejora del sonido objetivo (2) para mejorar sonido objetivo en base a un parámetro de estimación de ruido 6 que se recibe como una entrada, en el que el dispositivo está configurado para adquirir señales observadas desde una pluralidad de M micrófonos, mediante transformación de frecuencia de señales acústicas recogidas por la pluralidad de micrófonos, y en el que el dispositivo comprende:
una parte de estimación de ruido (21) que estima el ruido incluido en las señales observadas a través de la pluralidad de micrófonos sobre la base de las señales observadas y del parámetro de ruido 6 mediante la siguiente fórmula
dónde
Nw, t es ruido en un tramo de frecuencia oo en tiempo discreto r,
W'T es una señal observada de un m-ésimo micrófono, m = 2, ..., M, entre la pluralidad de micrófonos en el tramo de frecuencia w en el tiempo discreto t,
Pm e N+ es una diferencia de tramas de tiempo en el dominio de tiempo-frecuencia que se produce de acuerdo con una diferencia de posición relativa entre (b1 )-(b3),
dónde
(b1) es un micrófono predeterminado entre la pluralidad de micrófonos,
(b2) es el m-ésimo micrófono entre la pluralidad de micrófonos diferente del micrófono predeterminado, y
(b3) es una fuente de ruido,
(m)
a e Ra
1 es una ganancia de la función de transferencia para el m-ésimo micrófono en el tramo de frecuencia w para una k-ésima trama entre una pluralidad de k tramas, provocada en función de la diferencia de posición relativa entre (b1)-(b3), y
el parámetro de estimación de ruido 6 incluye las ganancias de la función de transferencia y las diferencias de tramas de tiempo,
una parte de generación de filtro (22) que genera un filtro en base, por lo menos, al ruido estimado; y una parte de filtrado (23) que filtra la señal observada obtenida del micrófono predeterminado a través del filtro.
2. El dispositivo de mejora del sonido objetivo (2) según la reivindicación 1,
en el que la señal observada del micrófono predeterminado (b1) incluye un sonido objetivo y ruido, y la señal observada del m-ésimo micrófono (b2) incluye ruido.
3. El dispositivo de mejora del sonido objetivo (2) según la reivindicación 2,
en el que una diferencia de dos tiempos de llegada es igual o mayor que la anchura de desplazamiento de la transformación de frecuencia, siendo los tiempos de llegada un tiempo de llegada del ruido desde la fuente de ruido (b3) al micrófono predeterminado (b1) y un tiempo de llegada del ruido desde la fuente de ruido (b3) al m-ésimo micrófono (b2).
4. Un dispositivo de aprendizaje de parámetros de estimación de ruido (1) para el aprendizaje de parámetros de estimación de ruido utilizados para estimar el ruido incluido en señales observadas a través de una pluralidad de micrófonos, comprendiendo el dispositivo de aprendizaje de parámetros de estimación de ruido:
una parte de modelización (11) que modeliza una distribución de probabilidad de señales observadas de un micrófono predeterminado entre la pluralidad de micrófonos, modeliza una distribución de probabilidad de diferencias de tramas de tiempo provocadas según una diferencia de posición relativa entre (b1)-(b3), donde (b1) es el micrófono predeterminado,
(b2) es un micrófono seleccionado libremente, y
(b3) es una fuente de ruido,
y modeliza una distribución de probabilidad de ganancias de la función de transferencia provocadas según la diferencia de posición relativa entre (b1)-(b3);
una parte de establecimiento de la función de probabilidad (12) que establece una función de probabilidad relativa a la diferencia de tramas de tiempo, y una función de probabilidad relativa a la ganancia de la función de transferencia, en base a las distribuciones de probabilidad modelizadas; y
una parte de actualización de parámetros (13) que actualiza alternativa y repetitivamente una variable de la función de probabilidad relativa a la diferencia de tramas de tiempo y una variable de la función de probabilidad relativa a la ganancia de la función de transferencia, y entrega la diferencia de tramas de tiempo y la ganancia de la función de transferencia que han sido actualizadas, como los parámetros de estimación de ruido.
5. El dispositivo de aprendizaje de parámetros de estimación de ruido (1) según la reivindicación 4,
en el que la parte de actualización de parámetros (13) comprende
una parte de actualización de la ganancia de la función de transferencia (131) que asigna una restricción para limitar la ganancia de la función de transferencia a un valor no negativo y actualiza repetidamente la variable de la función de probabilidad relativa a la ganancia de la función de transferencia mediante un método de gradiente proximal.
6. El dispositivo de aprendizaje de parámetros de estimación de ruido (1) según la reivindicación 4 o 5,
en el que la parte de modelización (11) comprende:
una parte de modelización de señal observada (111) que modeliza la distribución de probabilidad de las señales observadas con una distribución gaussiana;
una parte de modelización de diferencias de tramas de tiempo (112) que modeliza la distribución de probabilidad de las diferencias de tramas de tiempo con una distribución de Poisson; y
una parte de modelización de ganancia de la función de transferencia (113) que modeliza la distribución de probabilidad de las ganancias de la función de transferencia con una distribución exponencial.
7. Un método de mejora del sonido objetivo ejecutado por un dispositivo de mejora del sonido objetivo (2) para mejorar el sonido objetivo en base a un parámetro de estimación de ruido 6 que se recibe como entrada, comprendiendo el método de mejora del sonido objetivo:
una etapa de adquisición de señales observadas desde una pluralidad de M micrófonos, mediante transformación de frecuencia de señales acústicas recogidas por la pluralidad de micrófonos;
una etapa (S21) de estimar el ruido incluido en las señales observadas a través de la pluralidad de micrófonos sobre la base de las señales observadas y del parámetro de ruido 6 mediante la siguiente fórmula
dónde
Nw, t es ruido en un tramo de frecuencia oo en tiempo discreto r,
^(rn)
0)’T' es una señal observada de un m-ésimo micrófono, m = 2, ..., M, entre la pluralidad de micrófonos en el tramo de frecuencia w en el tiempo discreto t,
Pm e N+ es una diferencia de tramas de tiempo en el dominio de tiempo-frecuencia que se produce de acuerdo con una diferencia de posición relativa entre (b1 )-(b3),
Dónde
(b1) es un micrófono predeterminado,
(b2) es el m-ésimo micrófono entre la pluralidad de micrófonos diferente del micrófono predeterminado, y
(b3) es una fuente de ruido,
a0"? G R+ es una ganancia de la función de transferencia provocada en función de la diferencia de posición relativa entre (b1 )-(b3), y
el parámetro de estimación de ruido 6 incluye las ganancias de la función de transferencia y las diferencias de tramas de tiempo,
una etapa (S22) de generar un filtro en base, por lo menos, al ruido estimado; y
una etapa (S23) de filtrado de la señal observada obtenida del micrófono predeterminado a través del filtro.
8. Un método de aprendizaje de parámetros de estimación de ruido ejecutado por un dispositivo de aprendizaje de parámetros de estimación de ruido (1) para el aprendizaje de parámetros de estimación de ruido utilizados para estimar el ruido incluido en señales observadas a través de una pluralidad de micrófonos, comprendiendo el método de aprendizaje de parámetros de estimación de ruido:
una etapa (S11) de modelización de una distribución de probabilidad de señales observadas de un micrófono predeterminado entre la pluralidad de micrófonos, modelización de una distribución de probabilidad de diferencias de tramas de tiempo provocadas según una diferencia de posición relativa entre el micrófono predeterminado (b1), un micrófono seleccionado libremente (b2) y una fuente de ruido (b3), y modelización de una distribución de probabilidad de ganancias de la función de transferencia provocadas según la diferencia de posición relativa entre el micrófono predeterminado (b1), el micrófono seleccionado libremente (b2) y la fuente de ruido (b3);
una etapa (S12) de establecer una función de probabilidad relativa a la diferencia de tramas de tiempo, y una función de probabilidad relativa a la ganancia de la función de transferencia, en base a las distribuciones de probabilidad modelizadas; y
una etapa (S13) de actualizar alternativa y repetitivamente una variable de la función de probabilidad relativa a la diferencia de tramas de tiempo y una variable de la función de probabilidad relativa a la ganancia de la función de transferencia, y de entregar la diferencia de tramas de tiempo y la ganancia de la función de transferencia que han sido actualizadas, como los parámetros de estimación de ruido.
9. Un programa que hace que un ordenador funcione como el dispositivo de mejora del sonido objetivo (2) según cualquiera de las reivindicaciones 1 a 3.
10. Un programa que hace que un ordenador funcione como el dispositivo de aprendizaje de parámetros de estimación de ruido (1) según cualquiera de las reivindicaciones 4 a 6.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016244169 | 2016-12-16 | ||
| PCT/JP2017/032866 WO2018110008A1 (ja) | 2016-12-16 | 2017-09-12 | 目的音強調装置、雑音推定用パラメータ学習装置、目的音強調方法、雑音推定用パラメータ学習方法、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2937232T3 true ES2937232T3 (es) | 2023-03-27 |
Family
ID=62558463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES17881038T Active ES2937232T3 (es) | 2016-12-16 | 2017-09-12 | Dispositivo para enfatizar sonido objetivo, dispositivo de aprendizaje de parámetros de estimación de ruido, método para enfatizar sonido objetivo, método de aprendizaje de parámetros de estimación de ruido y programa |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11322169B2 (es) |
| EP (1) | EP3557576B1 (es) |
| JP (1) | JP6732944B2 (es) |
| CN (1) | CN110036441B (es) |
| ES (1) | ES2937232T3 (es) |
| WO (1) | WO2018110008A1 (es) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020207580A1 (en) * | 2019-04-10 | 2020-10-15 | Huawei Technologies Co., Ltd. | Audio processing apparatus and method for localizing an audio source |
| WO2021205494A1 (ja) * | 2020-04-06 | 2021-10-14 | 日本電信電話株式会社 | 信号処理装置、信号処理方法、およびプログラム |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1600791B1 (en) * | 2004-05-26 | 2009-04-01 | Honda Research Institute Europe GmbH | Sound source localization based on binaural signals |
| EP1640971B1 (en) * | 2004-09-23 | 2008-08-20 | Harman Becker Automotive Systems GmbH | Multi-channel adaptive speech signal processing with noise reduction |
| EP1993320B1 (en) * | 2006-03-03 | 2015-01-07 | Nippon Telegraph And Telephone Corporation | Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium |
| US20080152167A1 (en) * | 2006-12-22 | 2008-06-26 | Step Communications Corporation | Near-field vector signal enhancement |
| US7983428B2 (en) * | 2007-05-09 | 2011-07-19 | Motorola Mobility, Inc. | Noise reduction on wireless headset input via dual channel calibration within mobile phone |
| US8174932B2 (en) * | 2009-06-11 | 2012-05-08 | Hewlett-Packard Development Company, L.P. | Multimodal object localization |
| JP5143802B2 (ja) * | 2009-09-01 | 2013-02-13 | 日本電信電話株式会社 | 雑音除去装置、遠近判定装置と、各装置の方法と、装置プログラム |
| JP5337072B2 (ja) * | 2010-02-12 | 2013-11-06 | 日本電信電話株式会社 | モデル推定装置、音源分離装置、それらの方法及びプログラム |
| FR2976111B1 (fr) * | 2011-06-01 | 2013-07-05 | Parrot | Equipement audio comprenant des moyens de debruitage d'un signal de parole par filtrage a delai fractionnaire, notamment pour un systeme de telephonie "mains libres" |
| US9338551B2 (en) * | 2013-03-15 | 2016-05-10 | Broadcom Corporation | Multi-microphone source tracking and noise suppression |
| JP6193823B2 (ja) * | 2014-08-19 | 2017-09-06 | 日本電信電話株式会社 | 音源数推定装置、音源数推定方法および音源数推定プログラム |
| US10127919B2 (en) * | 2014-11-12 | 2018-11-13 | Cirrus Logic, Inc. | Determining noise and sound power level differences between primary and reference channels |
| CN105225672B (zh) * | 2015-08-21 | 2019-02-22 | 胡旻波 | 融合基频信息的双麦克风定向噪音抑制的系统及方法 |
| CN105590630B (zh) * | 2016-02-18 | 2019-06-07 | 深圳永顺智信息科技有限公司 | 基于指定带宽的定向噪音抑制方法 |
-
2017
- 2017-09-12 EP EP17881038.8A patent/EP3557576B1/en active Active
- 2017-09-12 US US16/463,958 patent/US11322169B2/en active Active
- 2017-09-12 WO PCT/JP2017/032866 patent/WO2018110008A1/ja not_active Ceased
- 2017-09-12 JP JP2018556185A patent/JP6732944B2/ja active Active
- 2017-09-12 CN CN201780075048.0A patent/CN110036441B/zh active Active
- 2017-09-12 ES ES17881038T patent/ES2937232T3/es active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3557576A4 (en) | 2020-08-12 |
| CN110036441A (zh) | 2019-07-19 |
| CN110036441B (zh) | 2023-02-17 |
| EP3557576B1 (en) | 2022-12-07 |
| US11322169B2 (en) | 2022-05-03 |
| EP3557576A1 (en) | 2019-10-23 |
| JPWO2018110008A1 (ja) | 2019-10-24 |
| US20200388298A1 (en) | 2020-12-10 |
| JP6732944B2 (ja) | 2020-07-29 |
| WO2018110008A1 (ja) | 2018-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161752B (zh) | 回声消除方法和装置 | |
| JP5842056B2 (ja) | 雑音推定装置、雑音推定方法、雑音推定プログラム及び記録媒体 | |
| JP5634959B2 (ja) | 雑音／残響除去装置とその方法とプログラム | |
| JP6348427B2 (ja) | 雑音除去装置及び雑音除去プログラム | |
| JP6594839B2 (ja) | 話者数推定装置、話者数推定方法、およびプログラム | |
| JP2018040848A (ja) | 音響処理装置および音響処理方法 | |
| CN109410956A (zh) | 一种音频数据的对象识别方法、装置、设备及存储介质 | |
| ES2937232T3 (es) | Dispositivo para enfatizar sonido objetivo, dispositivo de aprendizaje de parámetros de estimación de ruido, método para enfatizar sonido objetivo, método de aprendizaje de parámetros de estimación de ruido y programa | |
| KR20220022286A (ko) | 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치 | |
| JP2008236270A (ja) | 雑音抑圧装置および雑音抑圧方法 | |
| JP2009212599A (ja) | 残響除去装置とその方法と、そのプログラムと記録媒体 | |
| JP2006243290A (ja) | 外乱成分抑圧装置、コンピュータプログラム、及び音声認識システム | |
| CN110677782B (zh) | 信号自适应噪声过滤器 | |
| JP6320962B2 (ja) | 音声認識システム、音声認識方法、プログラム | |
| JP2004274234A (ja) | 音響信号の残響除去方法、装置、及び音響信号の残響除去プログラム、そのプログラムを記録した記録媒体 | |
| JP2017083566A (ja) | 雑音抑圧装置、雑音抑圧方法、およびプログラム | |
| JP7722467B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
| JP5376173B2 (ja) | 放射指向特性推定方法とその装置とプログラム | |
| JP6339520B2 (ja) | 音源分離装置、音源分離方法および音源分離プログラム | |
| US20250271296A1 (en) | Event recognition apparatus, event recognition method, and non-transitory computer-readable medium | |
| JP5285665B2 (ja) | 反射音情報推定装置、反射音情報推定方法、プログラム | |
| WO2023132018A1 (ja) | 学習装置、信号処理装置、学習方法及び学習プログラム | |
| JP5172797B2 (ja) | 残響抑圧装置とその方法と、プログラムと記録媒体 | |
| JP2019086581A (ja) | 音場推定装置、その方法、及びプログラム | |
| JP2026021206A (ja) | 状態推定装置、状態推定方法及びコンピュータープログラム |