ES2605779T3 - Reconocimiento de orador - Google Patents

Reconocimiento de orador Download PDF

Info

Publication number
ES2605779T3
ES2605779T3 ES12006775.6T ES12006775T ES2605779T3 ES 2605779 T3 ES2605779 T3 ES 2605779T3 ES 12006775 T ES12006775 T ES 12006775T ES 2605779 T3 ES2605779 T3 ES 2605779T3
Authority
ES
Spain
Prior art keywords
speaker
model
procedure
generic
universal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12006775.6T
Other languages
English (en)
Inventor
Luis BUERA RODRÍGUEZ
Carlos VAQUERO AVILÉS-CASCO
Marta GARCÍA GOMAR
Antonio Miguel Artiaga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agnitio SL
Original Assignee
Agnitio SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agnitio SL filed Critical Agnitio SL
Application granted granted Critical
Publication of ES2605779T3 publication Critical patent/ES2605779T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/16—Hidden Markov models [HMM]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

Procedimiento para el reconocimiento de orador dependiente de texto utilizando un modelo de orador obtenido mediante la adaptación de un Modelo de Fondo Universal; en el que el modelo de orador es un modelo oculto de Markov adaptado de orador que comprende corrección de canal, en el que el procedimiento comprende adaptar un Modelo de Fondo Universal genérico a un contenido léxico y entrenar una matriz de canales propios y una matriz de voces propias en una sesión de desarrollo antes de adaptar el Modelo de Fondo Universal genérico para un orador.

Description

DESCRIPCIÓN Reconocimiento de orador.
Los sistemas de reconocimiento de orador pueden utilizarse para confirmar o rechazar que una persona que está 5 hablando es quien se ha indicado que es (verificación de quien habla) y también puede utilizarse para determinar quién está hablando de entre una pluralidad de personas conocidas (identificación de quien habla). Tal sistema de identificación de orador puede ser de grupo abierto, ya que es posible que quien habla no sea una de las personas conocidas para el sistema, o de grupo cerrado, si quien habla se encuentra siempre en el conjunto del sistema. Dichos sistemas pueden encontrar aplicación en banca telefónica, identificación de sospechosos y generalmente 10 pueden utilizarse en un contexto relacionado con la seguridad.
Tales sistemas de reconocimiento de orador pueden exigir al usuario decir el mismo contenido léxico (por ejemplo, la misma frase clave), tanto para la inscripción como el reconocimiento. Dicho sistema es un sistema dependiente de texto, ofreciendo en algunos casos seguridad adicional, ya que requiere el reconocimiento de la identidad de quien 15 habla, así como el contenido léxico de la expresión.
Dichos sistemas de reconocimiento también pueden ser independientes de texto, de modo que no se establece ninguna restricción respecto al contenido léxico de la inscripción y de las expresiones de reconocimiento. Tales sistemas pueden tener la ventaja de que las personas pueden identificarse, por ejemplo, a partir de conversaciones 20 comunes, por ejemplo, conversaciones cotidianas o inscribirse con tales conversaciones comunes de las cuales ya existen archivos.
El documento US 2008/0312926 A1 describe la creación de huella vocal y reconocimiento de orador automático, dependiente de texto e independiente del idioma, basado en modelos ocultos de Markov (HMM) y sistemas de 25 reconocimiento de voz automáticos (ASR).
El documento US 2007/0294083 A1 describe un procedimiento rápido, dependiente de texto e independiente del idioma, para la autenticación de usuario por voz basado en Deformación Dinámica de Tiempo (DTW).
30
El documento US 6.094.632 describe un dispositivo de reconocimiento de voz, donde se combinan el sistema ASR y salidas del sistema de identificación de voz (SID).
Patrick Kenny, en su artículo "Joint Factor Analysis of Speaker Session Variability; Theory and Algorithms", da una introducción a procedimientos relacionados con la verificación de orador, en particular, un algoritmo, que puede ser 35 utilizado en sistemas de reconocimiento de orador.
El documento US 2007/198257 A1 se refiere a autenticación de orador.
El documento W 2007/131530 A1 se refiere a un procedimiento para compensar la variabilidad entre sesiones para 40 la extracción automática de información de una señal de voz de entrada que representa una expresión de un orador.
El documento US 2010/0131273 describe un dispositivo, un sistema y un procedimiento para la detección de vida utilizando biometría de voz.
45
Otro documento de la técnica anterior es el documento "Support Vector Machines versus Fast Scoring in the Low-Dimensional Total Variability Space for Speaker Verification" de N. Dehak y otros en Interspeech, Brighton, Londres, septiembre de 2009.
Es conocido el uso de modelos ocultos de Markov (HMM) que consisten en un conjunto de estados que 50 corresponden a un evento observable deterministamente y están conectados por arcos de probabilidad de transición. Los estados se definen en un vector de parámetros y se extraen de la señal de voz. Cada estado tiene asociada una función de densidad de probabilidad (pdf), que modela los vectores de características asociadas a ese estado. Tal función de densidad de probabilidad puede ser, por ejemplo, una mezcla de funciones Gaussianas (Modelos de Mezclas Gaussianas, GMM), en el espacio multidimensional de los vectores de características, pero 55 pueden utilizarse también otras distribuciones.
El modelo oculto de Markov se define por las probabilidades de transición aij asociadas a los arcos que representan la probabilidad de pasar del estado i al estado j, las distribuciones de estado inicial pi, que están asociadas a los estados y son las probabilidades iniciales de cada estado y la distribución de probabilidad de observación bi que está 60 asociada al estado i y puede ser, por ejemplo, un GMM. Esas distribuciones de probabilidad de observación están definidas por un conjunto de parámetros que dependen de la naturaleza de las distribuciones.
Las aproximaciones convencionales para el uso de modelos ocultos de Markov en marcos de reconocimiento de orador dependiente de texto generalmente requieren una transcripción de la frase utilizada que se requiere para construir el HMM de orador aplicando algún tipo de adaptación del HMM, por ejemplo, un máximo a posteriori (MAP) (tal como se describe, por ejemplo, en J. Gauvin y C. Lee "Maximum Posteriori Estimation for Multivariate Gaussian Mixture Observations of Markov Chains" IEEE Transactions on Speech and Audio Processing, 2(2): 291-298) o la 5 regresión lineal de probabilidad máxima (MLLR) (tal como se describe, por ejemplo, en CJ Leggeter y P.C. Woodland en "Maximum likelihood linear regression for speaker adaptation of the parameters of continuous density Hidden Markov Models" u otras adaptaciones de un modelo de punto de partida como una concatenación de HMMs genéricos que representan unidades (por ejemplo, fonemas o palabras) de señales de audio, por ejemplo, la frase. En este marco, los HMMs genéricos generalmente se denominan Modelo de Fondo Universal. A partir de esto puede 10 calcularse una puntuación utilizando un algoritmo adecuado tal como, por ejemplo, el algoritmo de avance-retroceso o de Viterbi, tal como se describe en L. R. Rabiner "a tutorial of Hidden Markof Models and selected applications in speech recognition", Proc. de IEEE77 (2): 257-286, DOI: 10.1109/5. 18626. [1].
Tales HMMs genéricos normalmente requieren un entrenamiento supervisado ya que cada unidad (por ejemplo, 15 fonema, palabra,...) tiene que asociarse a un determinado HMM. A partir de esto, el marco de reconocimiento de voz puede clasificarse en función de cómo se obtiene la transcripción. Las posibilidades de cómo puede obtenerse tal transcripción comprenden conocimiento previo, el uso de sistemas de reconocimiento de voz convencionales o el uso de sistemas de reconocimiento de voz universales tal como se describe, por ejemplo, en US 2008/0312926. Sin embargo, estos procedimientos generalmente requieren un entrenamiento supervisado y/o requieren cálculos 20 intensos, requieren una gran cantidad de memoria, normalmente dependen del idioma y/o no son muy flexibles. Los enfoques clásicos para sistemas de reconocimiento de orador basados en HMM que dependen de texto pueden presentar el inconveniente, además, de que el modelo HMM de orador tiene una relación directa con la transcripción que puede robarse en por lo menos un punto del sistema.
25
En el reconocimiento de orador clásico utilizando técnicas de adaptación de HMM, toda la información de los vectores de características está incorporada en el modelo de orador, a pesar de que cierta información, tal como por ejemplo el canal, no es una característica típica de orador y, por lo tanto, no debería estar incluida en el modelo de orador.
30
Por estas razones, los procedimientos de reconocimiento de orador clásicos dependientes de texto tienen limitaciones considerables.
Algunos de sus problemas son los que se han descrito anteriormente; almacenamiento de la transcripción o una estimación de la transcripción de la frase del orador, el uso de un reconocimiento de orador o decodificador fonético 35 que hace que el sistema utilice una gran cantidad de memoria y no sea apto para pequeños dispositivos tales como tabletas o teléfonos inteligentes, y el hecho de que no compensan el canal u otros efectos negativos de la señal de voz.
Preferiblemente, un sistema mejorado puede aprovecharse de la información de la secuencia temporal de los 40 vectores de características y proporcionar un rendimiento y una precisión satisfactorios sin utilizar una transcripción de la expresión, por ejemplo, la frase del discurso.
La presente invención se refiere a un reconocimiento de orador automático y soluciona por lo menos uno o más de los problemas mencionados anteriormente. En particular, la invención se refiere a un reconocimiento de orador 45 automático, independiente del idioma y dependiente de texto que se aprovecha de la correlación temporal de la información de orador de los vectores de características de la muestra de voz, pero sin incorporar su transcripción o estimación a cualquier punto del sistema. Por lo tanto, pueden conseguirse resultados satisfactorios con poca memoria y recursos de tiempo de cálculo, por lo que puede incorporarse incluso en dispositivos pequeños tales como, por ejemplo, teléfonos inteligentes. 50
La invención comprende una combinación de enfoques clásicos independientes de texto con un enfoque dependiente de texto con el fin de aprovechar la información dinámica. Efectivamente, los enfoques clásicos independientes de texto tales como análisis de factores conjuntos (AFC) tal como se describe, por ejemplo, en el artículo mencionado anteriormente "Joint Factor Analysis of Speaker Session Variability: Theory and Algorithms” de 55 Patrick Kenny o paradigmas del vector-i tal como se explica, por ejemplo, en el documento "Support Vector Machines versus Fast Scoring in the Low-Dimensional Total Variability Space for Speaker Verification” de N. Dehak y otros en Interspeech, Brighton, Londres, septiembre de 2009, no utilizan correlación temporal de muestras de voz, pero compensan de manera muy eficiente los efectos del canal para extraer solamente información del orador. Por otra parte, los enfoques clásicos dependientes de texto aprovechan la correlación temporal teniendo en cuenta de 60 este modo un punto clave en los problemas dependientes de texto, pero sin compensar efectos del canal de manera satisfactoria. Una combinación de estos paradigmas puede realizarse a nivel de sistema, por ejemplo, mediante la fusión de un sistema de reconocimiento de orador dependiente de texto y un sistema de reconocimiento de orador
independiente de texto o incorporando las virtudes de los independientes de texto en un marco de dependientes de texto.
La invención comprende un procedimiento de acuerdo con la reivindicación 1. En las reivindicaciones dependientes 2-13 se describen realizaciones favorables. 5
En particular, la invención comprende un procedimiento para el reconocimiento de orador dependiente de texto utilizando un modelo de orador obtenido por adaptación de un Modelo de Fondo Universal en el que el modelo de voz es un modelo oculto de Markov de orador adaptado que comprende corrección de canal. Dicho procedimiento puede comprender dos partes, a saber, inscripción, donde el modelo se adapta y la parte de reconocimiento en el 10 que se verifica o se identifica el orador y se compara una prueba de audio con un conjunto de modelos o un modelo para la verificación.
Un Modelo de Fondo Universal genérico (UBM genérico) normalmente se adapta a un orador una vez que éste se ha inscrito. 15
Éste puede adaptarse en base a una o varias expresiones (expresiones de inscripción) del orador. A partir de tal expresión (por ejemplo, una frase, una palabra, un fragmento que normalmente esté presente como archivo de audio o información) pueden extraerse vectores de características (vectores de características de inscripción). Las expresiones comprenden información del orador e información del canal, en el que el canal es todo lo que hay entre 20 el orador y el soporte de grabación, por ejemplo, comprendiendo un micrófono a través del cual se han transmitido las expresiones, y cualquier otra cosa a través de la cual se han transmitido las expresiones, por ejemplo, cables, altavoces, etc.
Esta adaptación puede realizarse de una manera no supervisada. En particular, puede no ser necesario ningún 25 contenido léxico de las expresiones o una aproximación de los mismos. Por lo tanto, puede no ser necesario ningún reconocimiento de voz u otro procedimiento de transcripción.
Entonces puede construirse un modelo dependiente de texto para la(s) expresión(es) correspondiente(s) mediante la adaptación del Modelo de Fondo Universal genérico del sistema dependiente de texto con todos los vectores de 30 características de inscripción de la(s) expresión(es) correspondiente(s) (en el que normalmente cada expresión comprende el mismo contenido léxico) y el orador. Los vectores de características de inscripción generalmente se extraen de las expresiones previstas para la inscripción. Puede aplicarse una corrección de canal de manera que el modelo de orador dependa sólo del orador, pero no del canal (por ejemplo, tal como se muestra en el documento de Kenny, mencionado anteriormente). 35
Para cada orador pueden generarse varios modelos. Normalmente, un modelo de orador se adapta a partir del UBM para un contenido léxico, por ejemplo, una frase, una palabra o un fragmento. Cada modelo puede obtenerse con una, dos, o más expresiones, por ejemplo, cinco expresiones del mismo contenido léxico.
40
En particular, una vez que algunas expresiones de un orador están presentes como archivo de audio u otra información de audio, por ejemplo, una determinada frase, una palabra, un fragmento o algo similar, pueden extraerse vectores de características de tiempo corto. En tales vectores de características de tiempo puede utilizarse, por ejemplo, Coeficientes Cepstrales en las Frecuencias de Mel (MFCC) tal como muestra, por ejemplo, Davis, S. B. y Mermelstein, P. en "Comparison of Parametric Representations for Monosyllabic Word Recognition in 45 Continuously Spoken Sentences”, IEEE Trans. on Acoustic, Speech and Signal Processing, 28(4): 357-366, 1980. En los vectores de características de tiempo, toda la información relevante del orador, contenido léxico y otros aspectos (también efectos no deseados, por ejemplo, de canal) se comprimen en un pequeño vector en cada intervalo de tiempo. Por ejemplo, cada 10 milisegundos puede crearse un vector de características 60 dimensional.
50
Con esta información, puede aplicarse un modelo de paradigma de análisis de factores conjuntos tal como se describe en el artículo mencionado anteriormente de Kenny para adaptar un UBM genérico, que es un HMM, que compensa al mismo tiempo aspectos no deseables de la señal de voz tal como, por ejemplo, el canal. Para un orador y un canal h dado, el modelo completo es:
55
Mh(s) = m + v y(s) + u xh(s) + d z(s)
donde m es un supervector obtenido por la concatenación de todos los vectores medios del UBM genérico, Mh(s) es el supervector que modela el orador s y el canal h, v es la matriz rectangular de voces propias, y(s) es la variable oculta que incluye la información de orador (factores de orador), u es la matriz rectangular de canales propios, xh(s) 60 es la variable oculta que incluye la información del canal (factores de canal), d es una matriz diagonal para modelar aquellos aspectos de la señal de voz que no están incluidos en u y v, y z(s) es una variable residual oculta asociada a d. El término d z(s) puede ser modelado como cero (y, por lo tanto, no tenerse en cuenta).
Para esta adaptación se requieren estadísticas cero y de primer orden para las expresiones que se utilizan para la inscripción para la adaptación del locutor del UMB (expresiones de inscripción). Puede llevarse a cabo algún algoritmo adecuado, tal como, por ejemplo, un algoritmo de avance-retroceso o un algoritmo de Viterbi para el UBM genérico y cada una de las correspondientes expresiones de la frase y el orador. 5
Para las expresiones de inscripción, el orador normalmente tiene que decir el mismo contenido léxico (por ejemplo, una frase, una palabra o un fragmento) más de una vez, en particular, más de 2, en particular, más de 3, o en particular más de 5 veces. Para la verificación (reconocimiento) en tales sistemas (explicado más adelante) puede ser suficiente una expresión. 10
Para cada orador, pueden crearse varios modelos (en particular, adaptados a partir de un UBM genérico) con diferentes contenidos léxicos. Para cada expresión con un contenido léxico para el reconocimiento de orador, en general se utiliza el modelo correspondiente a dicho contenido léxico.
15
Por ejemplo, utilizando un algoritmo de avance-retroceso, puede calcularse la probabilidad de que se encuentre en el Gaussiano k del estado i en el instante t γi,k(t). El Anexo muestra cómo pueden calcularse estas probabilidades.
A partir de esto, las estadísticas cero y de primer orden en el tiempo son:
20
Aquí, xt es el vector de características de inscripción en el intervalo de tiempo t.
A partir de esto, pueden extraerse factores de orador y canal y los vectores medios del HMM adaptado pueden 25 darse como
Esta ecuación puede representar el medio del modelo adaptado de orador (modelo de orador) y también puede 30 utilizarse en un proceso de reconocimiento más adelante. El índice lc se refiere al contenido léxico, para el cual está adaptado. y(s) puede calcularse a partir de la(s) expresión(es) de inscripción, tal como se muestra, por ejemplo, en el documento de Kenny, mientras que v (como u y d, si es necesario) pueden obtenerse en una fase de desarrollo previa (después de la formación sin supervisión del UBM genérico) tal como se muestra, por ejemplo, en el documento de Kenny. 35 )(sMlc
Para fines prácticos, el sistema puede no guardar , pero puede guardar solamente y(s). Esto puede ser ventajoso ya que el vector y(s) puede tener unas dimensiones considerablemente menores que . Debido a que v y m pueden tener que estar guardados de todos modos, el almacenamiento de y(s) en lugar de puede reducir los recursos del sistema necesarios. 40
Las probabilidades de transición pueden adaptarse a partir del UBM genérico con el fin de completar el modelo de orador (modelo de orador adaptado), que pueden tener los mismos parámetros que el UBM excepto los medios, que pueden calcularse utilizando las ecuaciones que se han dado antes y las probabilidades de transición tal como se dan a continuación. Las probabilidades de transmisión del HMM genérico pueden adaptarse a partir de las 45 probabilidades de transición conocidas del HMM genérico y pueden darse como
El significado de las variables en estas ecuaciones puede ser, por ejemplo, tal como se explica en el anexo.
En algunas realizaciones de un procedimiento de acuerdo con la invención, solamente podrán adaptarse vectores 5 medios y probabilidades de transición del UBM genérico en el modelo de orador, ya que han demostrado ser los parámetros más importantes. En otras realizaciones, todos los parámetros del UBM genérico pueden adaptarse al orador. En este punto, la inscripción puede completarse.
En un procedimiento de acuerdo con la invención, el Modelo de Fondo Universal genérico puede entrenarse en una 10 formación sin supervisión antes de adaptarse a un orador y un contenido de texto determinado. En particular, puede entrenarse a partir de un conjunto de información de audio sin la información de las transcripciones utilizando un algoritmo adecuado tal como, por ejemplo, un algoritmo de Maximización de Expectativas (EM) (tal como se describe, por ejemplo, en la A.P. Dempster, N.M. Laird y D.B. Rubin, "Maximum likelihood from incomplete data via the EM algorithm", Journal of the Royal Statistical Society, 39(1)) o un algoritmo variacional de Bayes (VB) (tal como 15 se describe, por ejemplo, en C.M. Bishop,"Pattern Recognition and Machine Learning", Springer Verlag).
Para este entrenamiento no supervisado, pueden utilizarse expresiones de varios oradores, por ejemplo, de más de cinco, en particular, de más de diez, en particular, de más de veinte oradores que puedan hablar más de uno, en particular más de cinco, en particular más de diez, y en particular más de quince idiomas diferentes y/o expresiones 20 de más de 1, en particular, más de 2, en particular más de 5, en particular más de 10 y, en particular más de 20 oradores húngaros para el entrenamiento sin supervisión del Modelo de Fondo Universal genérico. (Se considera que el húngaro abarca casi la totalidad de los posibles sonidos que pueden pronunciarse en la mayoría de los idiomas más hablados.) De uno, más o todos los oradores cuyas expresiones se utilizan pueden utilizarse más de una, en particular, más de 5 expresiones. 25
En una fase de dicho entrenamiento, se utilizan preferiblemente tantas conversaciones de libre expresión como sea posible para entrenar el Modelo de Fondo Universal genérico para estar preparado para cualquier expresión, por ejemplo, contraseña, frase o idioma que pueda utilizarse durante la operación.
30
Dicho entrenamiento no supervisado puede ser ventajoso, ya que la forma en que cada estado del Modelo de Fondo Universal genérico no tiene un significado físico (por ejemplo, no está limitado a un determinado fonema) aumentando así la seguridad y la reducción de los costes necesarios para crear dicho modelo de fondo universal genérico.
35
La topología del modelo de fondo universal genérico puede seleccionarse para comprender una probabilidad de transición de cada estado posible al mismo y cada otro estado posible asegurando de este modo que para cada expresión posible, por ejemplo, contraseña, frase o idioma pueda utilizarse en ese Modelo de Fondo Universal genérico.
40
Además, las distribuciones de probabilidad de observación pueden ser modelos de mezclas Gaussianas que opcionalmente comprendan matrices de covarianza diagonales y cuatro componentes.
En un procedimiento de acuerdo con la invención, el número de estados puede ser fijo.
45
En particular, el número de estados puede establecerse en menos de treinta estados, hasta treinta o más de treinta, o el número de estados puede establecerse al número de fonemas húngaros, o un número que pueda estimarse mediante un análisis de las propiedades espectrales de una señal de voz.
Esto puede realizarse, por ejemplo, cuando se necesita un UBM genérico preciso para un determinado contenido 50 léxico, por ejemplo, una determinada frase, una determinada palabra o un determinado fragmento. Tal UBM genérico puede tener que entrenarse de nuevo para cada nuevo contenido léxico, por ejemplo, frase, palabra o fragmento.
En particular, puede suponerse que puede necesitarse tantos estados como cambios espectrales se detecten en una señal. Un algoritmo para encontrar el número de cambios espectrales puede estar basado en un análisis de predicción lineal suave de tiempo corto. Dados dos segmentos adyacentes, f y g, éstos pueden analizarse con el fin de determinar si hay un cambio espectral entre ellos o no. Una posible medida de divergencia puede calcularse mediante 5
Si la medida de divergencia es superior a un cierto umbral, puede suponerse que el cambio espectral estaba presente entre segmentos fy g. Rff puede ser la señal de autocorrelación del segmento f, y a* (donde * puede ser f o 10 g) puede ser los coeficientes de filtro del filtro de predicción lineal óptimo para * por ejemplo extraído de la señal de autocorrelación resolviendo la predicción de error problema de mínimos cuadrados. Esto puede ser similar al detector de actividad de voz (VAD) de GSM (ETSI EN 300 730).
El procedimiento puede comprender, además, adaptar uno o más parámetros, por ejemplo, una serie de estados 15 y/o, por ejemplo, el Modelo de Fondo Universal genérico a un contenido léxico, por ejemplo, una frase de acceso o contraseña. Por lo tanto, si se utiliza un cierto contenido léxico y ya es conocido, puede no ser necesario que cubra todos los sonidos con el Modelo de Fondo Universal genérico. En particular, el resto de los parámetros del Modelo de Fondo Universal genérico pueden encontrarse entonces utilizando datos y algoritmos de adaptación de HMM clásico tal como por ejemplo MAP. Para ello, pueden utilizarse los datos de aproximadamente 10 oradores, por 20 ejemplo, 5-15, que dicen el contenido léxico (por ejemplo, una frase (de contraseña), una palabra (contraseña) o un fragmento) unas pocas veces, por ejemplo, 2-5 veces, y puede ser ya suficiente.
Después de eso, puede entrenarse una matriz de canales propios u, y una matriz de voces propias v, en una sesión de desarrollo antes de que el UBM genérico pueda adaptarse para un orador. Teniendo estas dos matrices puede 25 realizarse una corrección de canal ya que la información del canal (matriz de canales propios) se mantiene separada de la información de orador (matriz de voces propias), que puede ser procesada por separado. También puede entrenarse en esta sesión de desarrollo en la matriz d, que puede modelar los aspectos de la señal de voz no incluidos en u y v. En otras realizaciones, d puede modelarse como 0, no estando presente, no siendo necesario, por lo tanto, que se entrene. 30
Un procedimiento de acuerdo con la invención también puede comprender la etapa de verificar si la persona objetivo dijo una señal de prueba. Tal verificación puede realizarse de una manera sin supervisión. Por lo tanto, puede no ser necesaria ninguna transcripción o aproximación del contenido léxico para la etapa de verificación, y, en particular, por ejemplo, puede no ser necesario ningún reconocimiento de voz o procedimiento de transcripción. 35
Para ello, pueden crearse vectores de características de prueba {x1, x2, x3... xT} a partir de la señal de prueba que se ha dicho.
En particular, por ejemplo, puede utilizarse MFCC en el que en cada 10 milisegundos se crea un vector de 40 características 60 dimensional.
Además, puede utilizarse para el cálculo el modelo de orador representado por los factores de orador y(s) y estadísticas cero y de primer orden calculadas con los vectores de características de prueba.
45
Las estadísticas pueden calcularse utilizando el UBM genérico y el modelo de orador con un algoritmo adecuado, por ejemplo, un algoritmo de avance-retroceso o de Viterbi. Entonces pueden calcularse las probabilidades de registro del modelo de orador y el modelo UBM genérico LLUBM.
En particular, puede llevarse a cabo un algoritmo adecuado tal como, por ejemplo, el algoritmo de avance-retroceso 50 o de Viterbi con los vectores de características de prueba y el HMM adaptado de orador, en el que los medios y las probabilidades de transición pueden ser los adaptados.
Dicho algoritmo adecuado tal como, por ejemplo, el algoritmo de avance-retroceso o de Viterbi, puede proporcionar entonces un camino más probable para los vectores de características (vectores de características de pruebas) en 55 los estados de HMM adaptado de orador en este caso q = {q1, q2,... qT}.
Entonces, la probabilidad de encontrarse en el Gaussiano k del estado i del UBM genérico en el instante t puede calcularse como
60
y las estadísticas cero y de primer orden pueden darse como
5
Aquí, xt es el vector de características en el intervalo de tiempo t y μi,k y son la media y la matriz de covarianza del Gaussiano k de estado i del UBM genérico. ki,
10
A continuación, puede obtenerse una probabilidad de registro de los vectores de características relativas al HMM adaptado de orador, por ejemplo, descrito en el documento de Kenny (LLSPK). Aquí, el modelo adaptado de orador puede utilizarse solamente para determinar el camino (más probable), pero no para calcular las estadísticas.
Esto puede ser contrario al enfoque AFC clásico utilizando el modelo genérico para determinar un camino (más 15 probable), produciendo diferente desalineación, especialmente en enfoques de dependientes de texto. Sin embargo, también puede adoptarse el enfoque AFC clásico.
A continuación, puede llevarse a cabo una etapa correspondiente con un UBM genérico y los vectores de características de prueba, lo que da lugar a un camino más probable QUBM = {qUBM1, qUBM2... qUBMT). Para esto, de 20 nuevo, puede utilizarse un algoritmo adecuado tal como, por ejemplo, el algoritmo de avance-retroceso o de Viterbi.
La probabilidad de encontrarse en el estado Gaussiano k del UBM genérico puede calcularse como
25
con correspondientes estadísticas cero y de primer orden:
De nuevo, xt es un vector de características en el intervalo de tiempo t. Entonces, puede calcularse la relación de 30 probabilidad de registro de los vectores de características (por ejemplo, tal como se describe en el documento de Kenny (LLUBM)).
Como medida final para la comparación entre la señal (expresión) de prueba, por ejemplo, un archivo de audio con una expresión, por ejemplo, frase prueba o una contraseña hablada por un orador respecto a un modelo de orador 35 seleccionado tiene la relación de probabilidad de registro (LLRtd) calculada como
En este caso, la relación de probabilidad de registro puede comprender también, además de los registros de la probabilidad (LLspk y LLUBM), el logaritmo de términos que describen probabilidades de transición adaptada y probabilidades de transición genérica de orador en los caminos más probables de los modelos correspondientes que 5 se han calculado. Esto puede ser ventajoso, ya que puede tener en cuenta la progresión temporal a lo largo de los HMMs.
Tal procedimiento puede comprender, además, una etapa de identificación de una persona objetivo mediante la identificación de orador de un modelo de orador adaptado del Modelo de Fondo Universal genérico con la 10 puntuación de probabilidad más alta antes de verificar si la persona objetivo es precisamente la que ha dicho la señal de prueba, tal como se ha explicado antes.
Un ejemplo de otra implementación también puede comprender un procedimiento para el reconocimiento de orador dependiente de texto utilizando una combinación de un sistema dependiente de texto y uno independiente de texto, 15 en el que el sistema dependiente de texto está adaptado y en el que, además, hay también un modelo del sistema independiente de texto para el orador y la frase.
La adaptación puede realizarse opcionalmente de manera no supervisada (modo no supervisado). En particular, puede no ser necesario ningún contenido léxico de las expresiones o aproximación de las mismas. Por lo tanto, 20 puede no ser necesario ningún reconocimiento de voz u otro procedimiento de transcripción.
El modelo dependiente de texto puede utilizar un UBM genérico, por ejemplo, un HMM como punto de partida. En particular, puede ser un UBM que sea entrenado de manera no supervisada y que pueda presentar una topología tal como se ha explicado anteriormente. Por lo tanto, puede no ser necesaria ninguna transcripción del contenido léxico 25 para el entreno y puede no ser necesaria ninguna transcripción del contenido léxico para que el siguiente se adapte a un orador. El UBM genérico puede ser por ejemplo un HMM y puede estar adaptado al orador, por ejemplo, mediante un algoritmo adecuado tal como MAP o un algoritmo Bayesiano (tal como se describe, por ejemplo, en C.M. Bishop "Pattern Recognition and Machine Learning", Springer Verlag).
30
Cuando se combina un sistema de reconocimiento de orador dependiente de texto e independiente de texto, el independiente de texto puede estar compuesto por un AFC clásico o un marco de vectores i, y puede dar una puntuación o una relación de probabilidad de registro con compensación de canal. Por otra parte, el sistema dependiente de texto puede no realizar ningún tipo de compensación de canal, y puede dar una puntuación o relación de probabilidad de registro. 35
El procedimiento puede ser de la siguiente manera:
Para el procedimiento pueden utilizarse, por ejemplo, vectores de características tal como se ha mencionado anteriormente, por ejemplo, con los parámetros de intervalos de tiempo de 10 ms y MFFC 60 dimensional. 40
Para el sistema dependiente de texto, el UBM genérico, que puede ser un HMM, puede adaptarse al orador con algún audio de inscripción por MAP, utilizando un algoritmo adecuado tal como, por ejemplo, utilizando un algoritmo de avance-retroceso o de Viterbi. Entonces, la inscripción puede terminarse. Para el reconocimiento, puede aplicarse un algoritmo adecuado tal como, por ejemplo, de Viterbi, con el audio de prueba y el modelo de orador, 45 dando LLRspk. El algoritmo adecuado tal como, por ejemplo, de Viterbi, puede aplicarse también con el audio de prueba y el UBM genérico, dando LLRUBM. Puede no ser necesaria ninguna compensación de canal y, por lo tanto, la compensación de canal puede no realizarse. Finalmente, la LLRtd puede calcularse como
LLRtd = LLRspk - LLRUBM 50
Para el sistema independiente de texto, el UBM genérico, que puede ser un GMM, puede utilizarse para generar el modelo de orador utilizando AFC o un marco de vectores i. Entonces, la inscripción puede terminarse. Aquí, puede realizarse la compensación de canal. Para el reconocimiento, puede aplicarse AFC o un marco de vectores i, permitiendo así el cálculo de LLRti. 55
Finalmente, el registro final de relación de probabilidad de registro (LLR) puede obtenerse como:
60
El audio de inscripción y el audio de prueba pueden ser el mismo para ambos sistemas, por lo que el usuario puede tener que decir el mismo contenido léxico, por ejemplo, frase (de contraseña) para inscripción y reconocimiento.
En tal procedimiento, las probabilidades de transición y los medios de la distribución de densidad de probabilidad, que pueden ser por ejemplo GMM, del UBM genérico del sistema dependiente de texto, que puede ser un HMM, 5 pueden modificarse en tal enfoque. Se ha demostrado que esos parámetros son los más importantes. Si se utiliza una adaptación MAP, se requiere un etiquetado de cada vector de características de adaptación asociando un estado. Tal etiquetado puede realizarse mediante un algoritmo adecuado, tal como el algoritmo de avance-retroceso o algoritmo de Viterbi.
10
Para la construcción del modelo del sistema independiente de texto para la frase y orador correspondiente, puede elegirse también un enfoque adecuado tal como, por ejemplo, análisis de factores conjuntos o paradigmas de vectores i tal como describe Dehak y otros. En tal construcción, pueden utilizarse los mismos vectores de características como para adaptar el modelo del sistema dependiente de texto.
15
Como UBM genérico para el sistema dependiente de texto, puede utilizarse GMM, sin embargo, en otras realizaciones también es posible utilizar HMM.
Tal procedimiento también puede comprender la etapa de verificar si la persona objetivo dijo una señal de prueba. En particular, tal etapa de verificación puede comprender, por ejemplo, la extracción de vectores de características 20 de tiempo corto de la señal de prueba, por ejemplo, de una frase de prueba o contraseña. Esos vectores de características pueden ser extraídos por MFCC, por ejemplo, donde los parámetros pueden ser, por ejemplo, una distancia temporal de 10 milisegundos con un vector de características 60 dimensional. Teniendo en cuenta esos vectores de características, puede calcularse una relación de probabilidad de registro de orador adaptado y el modelo no adaptado (UBM genérico) para el sistema independiente de texto (LLRti). Tal verificación puede realizarse 25 de una manera no supervisada, lo que puede tener las ventajas que se han descrito anteriormente respecto a una manera no supervisada en una etapa de verificación.
A continuación, el vector de características de orador también puede compararse con el modelo genérico del sistema dependiente de texto (con el cual se encuentra LLUBM), por ejemplo; un HMM y el modelo de orador del 30 sistema dependiente de texto (con el cual se encuentra LLSPK) construido previamente utilizando un algoritmo adecuado tal como por ejemplo MAP o MLLR utilizando, por ejemplo, el algoritmo de avance-retroceso o algoritmo de Viterbi. A partir de las dos probabilidades de registro, una relación de probabilidad de registro combinado para los modelos dependientes de texto puede calcularse como:
35
LLRtd = LLspk - LLUBM
La relación de probabilidad de registro final (LLR) puede obtenerse como una combinación lineal de las relaciones de probabilidad de registro del dependiente de texto y del independiente de texto al cual se añade un término independiente. Puede darse como: 40
donde LLRtd es la relación de probabilidad de registro del sistema dependiente de texto y LLRti es el cociente de probabilidad de registro del sistema independiente de texto y δ es un término independiente. Los valores escalares α 45 y β que son los coeficientes para la relación de probabilidad de registro del sistema dependiente de texto y la relación de probabilidad de registro del sistema independiente de texto y un término independiente δ puede entrenarse durante una sesión de desarrollo con datos externos, que suele ser independiente del orador. El término δ puede utilizarse debido al significado físico de LLR.
50
La LLR se puede utilizarse en escenarios forenses, por ejemplo, LLR puede representar la relación entre la hipótesis de que los dos audios que se comparan los ha dicho la misma persona y la hipótesis de que ambos audios no los ha dicho la misma persona.
Entonces, una LLR mayor que 0 puede significar que es más probable que los dos audios hayan sido dichos por la 55 misma persona que no hayan sido dichos por la misma persona.
Sin embargo, puede que no sea simple y puede que el umbral no sea normalmente 0 dado que puede tenerse que considerar la información a priori que puede tener en cuenta alguna otra información que puede no ser la voz, y las penalizaciones de tener un error (falsa aceptación y falso rechazo). 60
Debido a eso, puede ser importante que la LLR pueda estar bien calibrada. En ese caso, puede fijarse un umbral teniendo en cuenta la información a priori y los costes de los errores muy fácilmente.
Debido a eso, δ puede ser necesario y entrenarse. En algunas otras realizaciones, δ puede establecerse en 0.
Tal combinación lineal de las dos relaciones de probabilidad de registro dependiente de texto y el sistema independiente de texto permite un entreno adecuado para lograr mejores resultados que cuando se utiliza un 5 sistema dependiente de texto o independiente de texto sólo. De nuevo, para la verificación, la relación de probabilidad de registro final LLR puede compararse con un umbral.
Tal procedimiento también puede comprender la etapa de identificación de una persona objetivo mediante la identificación del modelo de orador adaptado con la puntuación de probabilidad más alta como posible orador 10 objetivo antes de verificar que la señal de prueba la dijo ese orador.
La invención también comprende un medio legible por ordenador de acuerdo con la reivindicación 14.
La invención comprende, además, un sistema que comprende medios de acuerdo con la reivindicación 15. 15
La invención se explica adicionalmente con las figuras, en las cuales
La figura 1 muestra sistemas dependiente de texto de la técnica anterior; y La figura 2 muestra un sistema que comprende los aspectos de la invención. 20
En la figura 1, se explica un sistema de reconocimiento de orador de la técnica anterior.
A partir de una señal de audio se extrae una transcripción de texto. Después de eso, puede crearse un HMM de partida a partir del UBM genérico utilizando la transcripción o una estimación de la transcripción. Entonces, puede 25 generarse un HMM adaptado de orador utilizando la señal de audio y el HMM de partida. Para la adaptación, puede utilizarse un algoritmo adecuado, tal como MAP o MLLR que pueda utilizar, además, uno o más algoritmos adecuados de modo que puede ser necesario también, por ejemplo, en algunos casos, un algoritmo de Viterbi o de avance-retroceso.
30
A continuación, durante la fase de prueba puede utilizarse un algoritmo adecuado tal como, por ejemplo, algoritmos de Viterbi y/o de avance-retroceso para decidir si la persona objetivo es de hecho quien ha dicho la señal de prueba. Tal decisión puede tomarse comparando un marcador frente a un umbral establecido.
La figura 2 muestra un sistema de acuerdo con una realización de la invención. En particular, partiendo de un UBM 35 genérico, el UBM genérico, que puede ser un HMM, puede adaptarse utilizando una o más expresiones, por ejemplo, señales de audio. Así, puede generarse un HMM adaptado de orador. Tal como puede verse, en tal sistema, puede no ser necesaria ninguna transcripción del contenido del archivo de audio.
Después de la fase de inscripción, puede llevarse a cabo una prueba utilizando el HMM adaptado de orador en 40 combinación con un archivo de audio de prueba y también utilizando el UBM genérico. Puede tomarse una decisión entonces acerca de la verificación de la comparación de la relación de probabilidad de registro del modelo de orador modificado frente al UBM no modificado genérico contra un umbral.
La figura 2 puede representar una solución dependiente de texto en la que el canal se compensa o una solución 45 dependiente de texto en la que el canal no se compensa. Sin embargo, la figura 2 no muestra una solución independiente de texto que también puede utilizarse en algunas realizaciones de la invención.
En particular, en algunas realizaciones en las que el canal no se compensa en el sistema dependiente de texto, puede ser necesaria una fusión de la puntuación con la puntuación del sistema independiente de texto (no 50 mostrado).
Anexo:
55
Dados los vectores de características para una expresión X = {x1, x2, x3...} y un HMM definido por
 A = {aij}, las probabilidades de transición, que están asociadas a los arcos y representan la probabilidad de "pasar" del estado i al estado j.
 Π = {pi}, la distribución de estado inicial, que se asocia a los estados y son las probabilidades 60 iniciales de cada estado.
 bi, distribución de probabilidad de observación, que está asociada al estado i y es un GMM, definido por:
○ w i,k: una probabilidad a priori del Gaussiano k del estado i.
○ : donde µi,k y son la media y la matriz de covarianza del Gaussiano k de estado i. 5
Puede definirse la probabilidad de producir la secuencia {x1, x2, x3 ..., xt-1} mientras termina en el estado i en el instante t como αi (t):
10
donde es la probabilidad del estado i para xt. Puede definirse la probabilidad de producir la secuencia {xt, xt-1, ..., xT}, donde T es el número total de vectores de características, dado que nos encontramos en el estado i en el instante t como βi (t):
15
Finalmente, la probabilidad de encontrarse en el Gaussiano k de estado i en el instante t es i, k (t):
20
Los valores de inicialización para su uso en un algoritmo, por ejemplo, algoritmo de avance-retroceso, pueden ser αi (1) = pi y βi (T + 1) = 1.
25

Claims (15)

  1. REIVINDICACIONES
    1. Procedimiento para el reconocimiento de orador dependiente de texto utilizando un modelo de orador obtenido mediante la adaptación de un Modelo de Fondo Universal; en el que el modelo de orador es un modelo oculto de Markov adaptado de orador que comprende corrección de canal, en el que el procedimiento comprende adaptar un 5 Modelo de Fondo Universal genérico a un contenido léxico y entrenar una matriz de canales propios y una matriz de voces propias en una sesión de desarrollo antes de adaptar el Modelo de Fondo Universal genérico para un orador.
  2. 2. Procedimiento para el reconocimiento de orador de acuerdo con la reivindicación 1, en el que el Modelo de Fondo Universal es no supervisado adaptado en base a expresiones de inscripción del orador, en el que se extraen 10 estadísticas utilizando vectores de características de inscripción, el Modelo de Fondo Universal y un algoritmo de avance-retroceso o de Viterbi.
  3. 3. Procedimiento para el reconocimiento de orador de acuerdo con la reivindicación la reivindicación 1 ó 2, en el que solamente vectores medios y probabilidades de transición están adaptados en el modelo de orador o en el que todos 15 los parámetros están adaptados en el modelo de orador.
  4. 4. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 3, en el que el Modelo de Fondo Universal del sistema dependiente de texto se entrena en un entrenamiento no supervisado antes de que se adapte. 20
  5. 5. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 4, en el que se utilizan expresiones de más de 10 oradores que hablan más de 5 idiomas diferentes o más de 5 oradores húngaros para un entrenamiento no supervisado del Modelo de Fondo Universal del sistema dependiente de texto.
    25
  6. 6. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 5, en el que la topología del Modelo de Fondo Universal del sistema dependiente de texto se selecciona para comprender una posibilidad de transición de cada estado posible al mismo y cada otro estado posible.
  7. 7. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 6, en el que las 30 distribuciones de probabilidad de observación son modelos de mezcla Gaussianos con matrices de covarianza diagonal y cuatro componentes;
  8. 8. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 7, en el que el número de estados es fijo. 35
  9. 9. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 8, en el que el número de estados se establece en menos de 30, 30, más de 30, el número de fonemas húngaros o un número estimado de un análisis de las propiedades espectrales de una señal.
    40
  10. 10. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 9, que comprende, además, la etapa de verificar en un modo no supervisado si una señal de prueba la dijo una persona objetivo.
  11. 11. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 10, en el que el 45 modelo adaptado de orador se utiliza sólo para determinar el camino más probable, pero no para calcular las estadísticas.
  12. 12. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 11, en el que la verificación de si la señal de prueba la dijo la persona objetivo comprende calcular la diferencia entre los dos 50 términos de la probabilidad de registro del audio de prueba y el modelo de orador y el producto de registro de las probabilidades de transición del camino más probable obtenido con el modelo de orador y la probabilidad de registro del audio de prueba y el UBM genérico y el producto de registro de las probabilidades de transición del camino más probable obtenido con el UBM genérico.
    55
  13. 13. Procedimiento para el reconocimiento de orador de acuerdo con una de las reivindicaciones 1 a 12, en el que el procedimiento comprende, además, una etapa de identificación de una persona objetivo mediante la identificación del modelo adaptado de orador con la puntuación de probabilidad más alta.
  14. 14. Medio legible por ordenador que comprende instrucciones legibles por ordenador para ejecutar un procedimiento 60 de acuerdo con una de las reivindicaciones 1 a 13.
  15. 15. Sistema que comprende medios para ejecutar un procedimiento de acuerdo con una de las reivindicaciones 1 a 13.
ES12006775.6T 2012-09-28 2012-09-28 Reconocimiento de orador Active ES2605779T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP12006775.6A EP2713367B1 (en) 2012-09-28 2012-09-28 Speaker recognition

Publications (1)

Publication Number Publication Date
ES2605779T3 true ES2605779T3 (es) 2017-03-16

Family

ID=47040510

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12006775.6T Active ES2605779T3 (es) 2012-09-28 2012-09-28 Reconocimiento de orador

Country Status (5)

Country Link
US (1) US9626971B2 (es)
EP (2) EP2713367B1 (es)
DK (1) DK2713367T3 (es)
ES (1) ES2605779T3 (es)
WO (1) WO2014048855A1 (es)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970573B2 (en) 2018-04-27 2021-04-06 ID R&D, Inc. Method and system for free text keystroke biometric authentication

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10438591B1 (en) 2012-10-30 2019-10-08 Google Llc Hotword-based speaker recognition
CN113470641B (zh) 2013-02-07 2023-12-15 苹果公司 数字助理的语音触发器
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN104143326B (zh) * 2013-12-03 2016-11-02 腾讯科技（深圳）有限公司 一种语音命令识别方法和装置
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9384738B2 (en) 2014-06-24 2016-07-05 Google Inc. Dynamic threshold for speaker verification
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104464738B (zh) * 2014-10-31 2018-01-02 北京航空航天大学 一种面向智能移动设备的声纹识别方法
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11457809B1 (en) * 2015-12-08 2022-10-04 Verily Life Sciences Llc NFC beacons for bidirectional communication between an electrochemical sensor and a reader device
US20170236520A1 (en) * 2016-02-16 2017-08-17 Knuedge Incorporated Generating Models for Text-Dependent Speaker Verification
CN107274904A (zh) * 2016-04-07 2017-10-20 富士通株式会社 说话人识别方法和说话人识别设备
WO2017212206A1 (en) * 2016-06-06 2017-12-14 Cirrus Logic International Semiconductor Limited Voice user interface
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
US10141009B2 (en) 2016-06-28 2018-11-27 Pindrop Security, Inc. System and method for cluster-based audio event detection
CA3172758A1 (en) * 2016-07-11 2018-01-18 FTR Labs Pty Ltd Method and system for automatically diarising a sound recording
CN106169295B (zh) * 2016-07-15 2019-03-01 腾讯科技（深圳）有限公司 身份向量生成方法和装置
GB2552723A (en) * 2016-08-03 2018-02-07 Cirrus Logic Int Semiconductor Ltd Speaker recognition
US9824692B1 (en) 2016-09-12 2017-11-21 Pindrop Security, Inc. End-to-end speaker recognition using deep neural network
WO2018053531A1 (en) 2016-09-19 2018-03-22 Pindrop Security, Inc. Dimensionality reduction of baum-welch statistics for speaker recognition
US10325601B2 (en) 2016-09-19 2019-06-18 Pindrop Security, Inc. Speaker recognition in the call center
US10347256B2 (en) 2016-09-19 2019-07-09 Pindrop Security, Inc. Channel-compensated low-level features for speaker recognition
US10614813B2 (en) * 2016-11-04 2020-04-07 Intellisist, Inc. System and method for performing caller identity verification using multi-step voice analysis
FR3058558B1 (fr) * 2016-11-07 2020-01-10 Pw Group Procede et systeme d'authentification par biometrie vocale d'un utilisateur
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10397398B2 (en) 2017-01-17 2019-08-27 Pindrop Security, Inc. Authentication using DTMF tones
IT201700044093A1 (it) 2017-04-21 2018-10-21 Telecom Italia Spa Metodo e sistema di riconoscimento del parlatore
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10339935B2 (en) * 2017-06-19 2019-07-02 Intel Corporation Context-aware enrollment for text independent speaker recognition
EP3451330A1 (en) 2017-08-31 2019-03-06 Thomson Licensing Apparatus and method for residential speaker recognition
US10950243B2 (en) * 2017-11-29 2021-03-16 ILLUMA Labs Inc. Method for reduced computation of t-matrix training for speaker recognition
US10832683B2 (en) * 2017-11-29 2020-11-10 ILLUMA Labs LLC. System and method for efficient processing of universal background models for speaker recognition
US10950244B2 (en) * 2017-11-29 2021-03-16 ILLUMA Labs LLC. System and method for speaker authentication and identification
US11295748B2 (en) * 2017-12-26 2022-04-05 Robert Bosch Gmbh Speaker identification with ultra-short speech segments for far and near field voice assistance applications
EP3537320A1 (en) * 2018-03-09 2019-09-11 VoicePIN.com Sp. z o.o. A method of voice-lexical verification of an utterance
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN110176243B (zh) * 2018-08-10 2023-10-31 腾讯科技（深圳）有限公司 语音增强方法、模型训练方法、装置和计算机设备
KR102637339B1 (ko) * 2018-08-31 2024-02-16 삼성전자주식회사 음성 인식 모델을 개인화하는 방법 및 장치
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10957318B2 (en) * 2018-11-02 2021-03-23 Visa International Service Association Dynamic voice authentication
CN109378006B (zh) 2018-12-28 2022-09-16 三星电子（中国）研发中心 一种跨设备声纹识别方法及系统
WO2020159917A1 (en) 2019-01-28 2020-08-06 Pindrop Security, Inc. Unsupervised keyword spotting and word discovery for fraud analytics
WO2020163624A1 (en) 2019-02-06 2020-08-13 Pindrop Security, Inc. Systems and methods of gateway detection in a telephone network
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11646018B2 (en) 2019-03-25 2023-05-09 Pindrop Security, Inc. Detection of calls from voice assistants
US12015637B2 (en) 2019-04-08 2024-06-18 Pindrop Security, Inc. Systems and methods for end-to-end architectures for voice spoofing detection
CN110085236B (zh) * 2019-05-06 2021-02-09 中国人民解放军陆军工程大学 一种基于自适应语音帧加权的说话人识别方法
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
WO2020243701A1 (en) * 2019-05-30 2020-12-03 Insurance Services Office, Inc. Systems and methods for machine learning of voice attributes
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110544466A (zh) * 2019-08-19 2019-12-06 广州九四智能科技有限公司 少量录音样本情况下语音合成方法
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US12301635B2 (en) 2020-05-11 2025-05-13 Apple Inc. Digital assistant hardware abstraction
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR102577346B1 (ko) * 2021-02-08 2023-09-12 네이버 주식회사 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템
US11942094B2 (en) 2021-03-24 2024-03-26 Google Llc Hybrid multilingual text-dependent and text-independent speaker verification
US12026274B2 (en) * 2021-04-30 2024-07-02 Capital One Services, Llc Computer-based systems configured for managing permission messages in a database and methods of use thereof
CN113327618B (zh) * 2021-05-17 2024-04-19 西安讯飞超脑信息科技有限公司 声纹判别方法、装置、计算机设备和存储介质
CN113327617B (zh) * 2021-05-17 2024-04-19 西安讯飞超脑信息科技有限公司 声纹判别方法、装置、计算机设备和存储介质
CN117153147A (zh) * 2022-12-22 2023-12-01 厦门快商通科技股份有限公司 一种实时说话人日志方法和系统
JPWO2024201995A1 (es) * 2023-03-31 2024-10-03
CN119207434B (zh) * 2024-11-22 2025-03-25 北京信工博特智能科技有限公司 结合变分自编码和马尔科夫随机场的声纹识别方法及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62231993A (ja) * 1986-03-25 1987-10-12 インタ−ナシヨナル　ビジネス　マシ−ンズ　コ−ポレ−シヨン 音声認識方法
CA1311059C (en) * 1986-03-25 1992-12-01 Bruce Allen Dautrich Speaker-trained speech recognizer having the capability of detecting confusingly similar vocabulary words
US4817156A (en) * 1987-08-10 1989-03-28 International Business Machines Corporation Rapidly training a speech recognizer to a subsequent speaker given training data of a reference speaker
US5072452A (en) * 1987-10-30 1991-12-10 International Business Machines Corporation Automatic determination of labels and Markov word models in a speech recognition system
US5835890A (en) * 1996-08-02 1998-11-10 Nippon Telegraph And Telephone Corporation Method for speaker adaptation of speech models recognition scheme using the method and recording medium having the speech recognition method recorded thereon
WO1998014934A1 (en) * 1996-10-02 1998-04-09 Sri International Method and system for automatic text-independent grading of pronunciation for language instruction
EP0954854A4 (en) * 1996-11-22 2000-07-19 T Netix Inc PARTIAL VALUE-BASED SPEAKER VERIFICATION BY UNIFYING DIFFERENT CLASSIFIERS USING CHANNEL, ASSOCIATION, MODEL AND THRESHOLD ADAPTATION
JP2991144B2 (ja) 1997-01-29 1999-12-20 日本電気株式会社 話者認識装置
US5995927A (en) * 1997-03-14 1999-11-30 Lucent Technologies Inc. Method for performing stochastic matching for use in speaker verification
EP1084490B1 (de) * 1998-05-11 2003-03-26 Siemens Aktiengesellschaft Anordnung und verfahren zur erkennung eines vorgegebenen wortschatzes in gesprochener sprache durch einen rechner
US6141644A (en) * 1998-09-04 2000-10-31 Matsushita Electric Industrial Co., Ltd. Speaker verification and speaker identification based on eigenvoices
US6411930B1 (en) * 1998-11-18 2002-06-25 Lucent Technologies Inc. Discriminative gaussian mixture models for speaker verification
US6922668B1 (en) * 1999-03-11 2005-07-26 British Telecommunications Public Limited Company Speaker recognition
US6463413B1 (en) * 1999-04-20 2002-10-08 Matsushita Electrical Industrial Co., Ltd. Speech recognition training for small hardware devices
KR100307623B1 (ko) * 1999-10-21 2001-11-02 윤종용 엠.에이.피 화자 적응 조건에서 파라미터의 분별적 추정 방법 및 장치 및 이를 각각 포함한 음성 인식 방법 및 장치
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7318032B1 (en) * 2000-06-13 2008-01-08 International Business Machines Corporation Speaker recognition method based on structured speaker modeling and a “Pickmax” scoring technique
DE10047724A1 (de) * 2000-09-27 2002-04-11 Philips Corp Intellectual Pty Verfahren zur Ermittlung eines Eigenraumes zur Darstellung einer Mehrzahl von Trainingssprechern
DE10047723A1 (de) * 2000-09-27 2002-04-11 Philips Corp Intellectual Pty Verfahren zur Ermittlung eines Eigenraums zur Darstellung einer Mehrzahl von Trainingssprechern
EP1197949B1 (en) * 2000-10-10 2004-01-07 Sony International (Europe) GmbH Avoiding online speaker over-adaptation in speech recognition
US7209881B2 (en) * 2001-12-20 2007-04-24 Matsushita Electric Industrial Co., Ltd. Preparing acoustic models by sufficient statistics and noise-superimposed speech data
US7457745B2 (en) * 2002-12-03 2008-11-25 Hrl Laboratories, Llc Method and apparatus for fast on-line automatic speaker/environment adaptation for speech/speaker recognition in the presence of changing environments
US7328154B2 (en) * 2003-08-13 2008-02-05 Matsushita Electrical Industrial Co., Ltd. Bubble splitting for compact acoustic modeling
US7447633B2 (en) * 2004-11-22 2008-11-04 International Business Machines Corporation Method and apparatus for training a text independent speaker recognition system using speech data with text labels
WO2006126216A1 (en) 2005-05-24 2006-11-30 Loquendo S.P.A. Automatic text-independent, language-independent speaker voice-print creation and speaker recognition
US7539616B2 (en) * 2006-02-20 2009-05-26 Microsoft Corporation Speaker authentication using adapted background models
AU2006343470B2 (en) * 2006-05-16 2012-07-19 Loquendo S.P.A. Intersession variability compensation for automatic extraction of information from voice
US8099288B2 (en) * 2007-02-12 2012-01-17 Microsoft Corp. Text-dependent speaker verification
US8442824B2 (en) * 2008-11-26 2013-05-14 Nuance Communications, Inc. Device, system, and method of liveness detection utilizing voice biometrics

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970573B2 (en) 2018-04-27 2021-04-06 ID R&D, Inc. Method and system for free text keystroke biometric authentication

Also Published As

Publication number Publication date
EP2713367B1 (en) 2016-11-09
WO2014048855A1 (en) 2014-04-03
EP2901445A1 (en) 2015-08-05
EP2713367A1 (en) 2014-04-02
EP2901445B1 (en) 2018-01-17
US20160225374A1 (en) 2016-08-04
US9626971B2 (en) 2017-04-18
DK2713367T3 (en) 2017-02-20

Similar Documents

Publication Publication Date Title
EP2713367B1 (en) Speaker recognition
Hébert Text-dependent speaker recognition
Li et al. Improving short utterance speaker recognition by modeling speech unit classes
Fazel et al. An overview of statistical pattern recognition techniques for speaker verification
Das et al. Speaker verification from short utterance perspective: a review
Kockmann et al. Application of speaker-and language identification state-of-the-art techniques for emotion recognition
Rao et al. Robust speaker recognition in noisy environments
Mazaira-Fernandez et al. Improving speaker recognition by biometric voice deconstruction
González-Rodríguez et al. Voice biometrics
Alqadheeb et al. Correct pronunciation detection for classical Arabic phonemes using deep learning
Safavi Speaker characterization using adult and children’s speech
Wang et al. Joint Speaker and Lexical Modeling for Short-Term Characterization of Speaker.
Sarkar et al. Incorporating pass-phrase dependent background models for text-dependent speaker verification
Furui Speaker recognition in smart environments
Das et al. Compensating utterance information in fixed phrase speaker verification
Laskar et al. HiLAM-aligned kernel discriminant analysis for text-dependent speaker verification
Kockmann et al. Recent progress in prosodic speaker verification
Olsson Text dependent speaker verification with a hybrid HMM/ANN system
Sarkar et al. Self-segmentation of pass-phrase utterances for deep feature learning in text-dependent speaker verification
Gonzalez-Rodriguez et al. Speaker recognition the a TVS-UAM system at NIST SRE 05
Correia et al. Anti-spoofing: Speaker verification vs. voice conversion
Ahmad et al. Client-wise cohort set selection by combining speaker-and phoneme-specific I-vectors for speaker verification
Mamodiya et al. Exploring acoustic factor analysis for limited test data speaker verification
Van Heerden Phoneme duration modelling for speaker verification
Sam et al. Speech modulation features for robust nonnative speech accent detection