ES2312589T3 - Sistema de identificacion de audio. - Google Patents

Abstract

Sistema para reconocer señales de audio en campo libre, que comprende: un dispositivo (2) portátil que tiene un micrófono (6) para captar señales de audio en campo libre, correspondiendo las señales de audio en campo libre captadas a una parte de un trabajo de audio grabado que es menor que un trabajo de audio grabado completo; un procesador (3) local, que puede acoplarse a dicho dispositivo (2) portátil, para transmitir características de señal de audio correspondientes a las señales de audio en campo libre captadas a un sitio de reconocimiento; incluyendo uno de dicho dispositivo (2) portátil y dicho procesador (3) local un conjunto de circuitos que extrae una serie temporal de características de señal de audio espectralmente distintas de cualquier parte de las señales de audio en campo libre captadas, correspondiendo la serie temporal de características de señal de audio espectralmente distintas a la parte de un trabajo de audio grabado que es menor que el trabajo de audio grabado completo; y un procesador (16) de reconocimiento y una memoria (18) de reconocimiento en el sitio de reconocimiento, almacenando dicha memoria (18) de reconocimiento datos correspondientes a una pluralidad de plantillas de audio, correlacionando dicho procesador (16) de reconocimiento las características de señal de audio transmitidas desde dicho procesador (3) local con al menos una de las plantillas de audio almacenadas en dicha memoria (18) de procesador de reconocimiento, proporcionando dicho procesador (16) de reconocimiento una señal de reconocimiento basándose en la correlación.

Description

Sistema de identificación de audio.

Antecedentes de la invención 1. Campo de la invención

La presente invención se refiere a un sistema para captar selectivamente muestras de audio en campo libre y reconocer automáticamente estas señales. Las señales de audio pueden transmitirse, por ejemplo, a través de cable o radiodifusión inalámbrica, redes informáticas (por ejemplo, Internet), o transmisión por satélite. Alternativamente, las grabaciones de audio que se reproducen localmente (por ejemplo, en una sala, teatro, o estudio) pueden captarse e identificarse. El proceso de reconocimiento de patrones automático empleado permite a los usuarios seleccionar música u otras grabaciones de audio para comprarlas aunque no conozcan los nombres de las grabaciones. Preferiblemente, el usuario usa un dispositivo de captación de audio portátil para captar una parte de una canción radiodifundida, y a continuación usa la parte captada para acceder a un sitio a través de Internet para pedir la canción.

2. Técnica relacionada

La necesidad de identificar grabaciones y radiodifusiones de audio es una etapa necesaria en las ventas de grabaciones, cintas y discos compactos. Esto se ha hecho más difícil en muchos formatos de radiodifusión cuando los nombres de las canciones y los artistas no se proporcionan por los pinchadiscos. Para contrarrestar este problema se han propuesto sistemas que usan un dispositivo electrónico pequeño para registrar el tiempo en el que se transmiten las grabaciones deseadas. Estos marcadores de tiempo registrado se transmiten entonces usando Internet a un sitio web que contiene registros de qué canciones estaban transmitiéndose sobre diversas estaciones de radiodifusión. Entonces sólo es necesario que los usuarios sepan qué estación de radiodifusión estaban escuchando cuando se marcó y almacenó el tiempo. Se supone que normalmente, los oyentes siguen una o algunas estaciones de radiodifusión. Se produce un problema para los oyentes que con frecuencia cambian entre estaciones. Un problema adicional es la necesidad de adquirir y mantener registros de un número de estaciones potencialmente grande. Las estaciones de radio y televisión no siempre pueden estar dispuestas a proporcionar sus registros de espacio en antena. Como resultado puede ser necesario construir estos registros usando métodos de reconocimiento manuales o automáticos.

La necesidad de reconocimiento automático de material de radiodifusión se ha establecido demostrada por el desarrollo y el despliegue de varios sistemas. Los usos de la información de reconocimiento entran en diversas categorías. Las grabaciones musicales que se radiodifunden pueden identificarse para determinar su popularidad, soportando así los esfuerzos de promoción, ventas y distribución de medios. La detección automática de publicidad se requiere como un método de comprobación para verificar que de hecho se transmitieron los anuncios en los momentos que contrataron el anunciante y el radiodifusor. También se requiere la identificación de trabajos protegidos por derechos de reproducción para garantizar que se realizan los pagos de derechos de autor apropiados. Con nuevos métodos de distribución, tal como Internet y transmisión por satélite directa, se incrementa el alcance y la escala de las aplicaciones de reconocimiento de señales.

Ahora, los posibles compradores de grabaciones musicales están expuestos a muchas más fuentes de audio que en el pasado. Evidentemente no es práctico crear y mantener listas de todas esas grabaciones de todas las posibles fuentes de audio indexadas por fecha y tiempo. Lo que se requiere es una metodología para captar y almacenar muestras de audio o características de muestras de audio. Adicionalmente, se requieren un método y un sistema para identificar automáticamente estas muestras de modo que puedan ofrecerse con un nombre a clientes para su compra.

Las técnicas de identificación de programa automática entran dentro de dos categorías generales de activa y pasiva. Las tecnologías activas implican la inserción de señales de identificación codificadas en el material de programa u otra modificación de la señal de audio. Las técnicas activas se enfrentan a dos problemas difíciles. Los códigos insertados no deben provocar una distorsión evidente ni ser perceptibles para los oyentes. Simultáneamente, los códigos de identificación deben ser lo suficientemente robustos para sobrevivir al procesamiento de señales del sistema de transmisión. Los sistemas activos que se han desarrollado hasta la fecha han sufrido dificultades en una o ambas de estas áreas. Un problema adicional es que casi todo el material de programa existente no se ha codificado.

Los sistemas de reconocimiento de señales pasivos identifican material de programa reconociendo características o propiedades específicas de la señal. Habitualmente, cada uno de los trabajos que ha de identificarse está sometido a un proceso de grabación en el que el sistema aprende las características de la señal de audio. El sistema usa entonces técnicas de correspondencia de patrones para detectar la incidencia de estas características durante la transmisión de señales. Uno de los ejemplos más recientes de este enfoque lo presentan Moon et al. en la patente estadounidense 3.919.479. Moon extrae un segmento de tiempo de una forma de onda de audio, lo digitaliza y guarda la forma de onda digitalizada como un patrón de referencia para su correlación posterior con una señal de audio desconocida. Moon también presenta una variante de esta técnica en la que en lugar del propio audio se usan envolventes de amplitud de ancho de banda bajo del audio. Sin embargo, los dos enfoques de Moon sufren pérdida de correlación en presencia de diferencias de velocidad entre el patrón de referencia y la señal transmitida. El tema del error de velocidad lo trataron Kenyon et al. en la patente estadounidense 4.450.531 usando funciones de correlación de segmento múltiple. En este enfoque, los segmentos individuales tienen un producto de ancho de banda de tiempo relativamente bajo y se ven poco afectados por las variaciones de velocidad. Se obtiene rendimiento de discriminación de patrón requiriendo detectar una pluralidad de patrones secuenciales con aproximadamente el retardo de tiempo correcto. Este método es preciso aunque algo limitado en su capacidad debido a la complejidad de cálculo.

Kenyon et al. describen en la patente estadounidense 4.843.562 un sistema de reconocimiento de señales de audio que de manera específica trata los errores de velocidad en la señal transmitida remuestreando la señal de entrada para crear varias versiones distorsionadas en el tiempo de los segmentos de señal. Esto permite aplicar una función de correlación rápida de resolución alta a cada uno de los segmentos de señal deformados en el tiempo sin degradar los valores de correlación. También se usa un proceso de correspondencia de espectrograma de resolución baja como mecanismo de espera para seleccionar patrones de referencia candidatos para reconocimiento de patrones de resolución alta. Este método consigue una gran precisión con un gran número de patrones candidatos.

Lamb et al. describen en la patente estadounidense 5.437.050 un sistema de reconocimiento de señales de audio. Los espectros de audio se calculan a una tasa de 50 Hz y se cuantifican a un bit de resolución comparando cada frecuencia con un umbral derivado a partir del espectro correspondiente. Se retienen cuarenta y ocho componentes espectrales que representan semitonos de cuatro octavas de la escala musical. Los semitonos se determinan como activos o inactivos según su estado de actividad previo y la comparación con dos umbrales. El primer umbral se usa para determinar si un semitono inactivo debería establecerse en un estado activo. El segundo umbral se establece en un valor menor y se usa para seleccionar semitonos activos que deberían establecerse en un estado inactivo. El fin de esta histéresis es evitar que semitonos que se producen recientemente dominen el espectro de potencia y obliguen a otros tonos a un estado inactivo. El conjunto de 48 estados de semitono forma un vector de actividad para el intervalo de muestras actual. Vectores secuenciales se agrupan para formar una matriz de actividad que representa la estructura de frecuencia de tiempo del audio. Estas matrices de actividad se comparan con patrones de referencia construidos de forma similar que usan un procedimiento que suma correspondencias de bits por subintervalos de la matriz de actividad. Los subintervalos se evalúan con diversas alineaciones en el tiempo diferentes para compensar los errores de velocidad que pueden introducirse por los radiodifusores. Para estrechar el espacio de búsqueda al comparar la entrada con muchas plantillas, se calculan las características totales de la matriz de actividad de entrada. Las distancias de las características de macro de la entrada y cada plantilla se calculan para determinar un subconjunto de patrones para su evaluación adicional.

El documento WO-A-02/11123 da a conocer un dispositivo móvil que envía un conjunto de características correspondientes a una señal de audio captada directamente a un servidor, que realiza el reconocimiento.

El documento EP-A-1093109 da a conocer que un usuario canta una parte de una pieza musical, se obtiene una secuencia de tono que se compara con la información almacenada en una base de datos.

El artículo "AudioID: Towards content-based identification of audio material" (Allamanche E et al, Audio Engineering Society Convention Paper, 12-05-2001) da a conocer un dispositivo portátil que registra firmas de música para fines de venta de música.

Sumario de la invención

Es un objeto de la presente invención vencer estos problemas y limitaciones anteriormente descritos.

Según la invención, se proporciona un sistema tal como se explica en la reivindicación 1. Realizaciones preferidas se explican en las reivindicaciones dependientes.

Breve descripción de los dibujos

Otras características ventajosas de la presente invención se entenderán fácilmente a partir de la siguiente descripción detallada de las realizaciones preferidas de la presente invención cuando se toman en conjunción con los dibujos adjuntos en los que:

La figura 1 ilustra un modelo de sistema del funcionamiento del sistema de identificación y captación de audio. Una muestra de sonido en campo libre breve de una fuente de audio tal como un receptor de televisión, de radio, un reproductor de CD, un ordenador personal, un fonógrafo, etc. se capta mediante un dispositivo portátil pequeño y se almacena en una memoria digital. Las muestras de audio o propiedades de audio captadas se cargan posteriormente en un ordenador personal que está conectado a un sitio central que contiene patrones de referencia derivados a partir de música ofrecida para su venta. Un sistema de identificación de audio ubicado en el sitio central identifica entonces las muestras y transmite los nombres de las grabaciones correspondientes y devuelve estos nombres y un fragmento breve de sonido al usuario para su confirmación. Al usuario se le ofrece entonces la oportunidad de comprar la grabación.

La figura 2 muestra los componentes de un dispositivo de captación de audio usado para adquirir muestras de audio para su transmisión al sitio central.

La figura 3 ilustra los componentes de los sitios remotos que se usan para realizar identificaciones de señal de audio. Estas pueden incluir el ordenador central del sitio web, subsistemas de reconocimiento de patrones, un sistema de inicialización de patrones para generar patrones de referencia a partir de grabaciones y las bases de datos necesarias.

La figura 4 es un diagrama de la interfaz de audio y procesador de señal que se usa en el sistema de inicialización de patrón según una realización preferida para adquirir audio en el sitio central y extraer características para su uso en la generación de patrones de referencia.

La figura 5 muestra los procesos preferidos para extraer características a partir de formas de onda de audio. Estos procesos incluyen calcular secuencias de espectros de potencia, integrar potencia espectral por diversas bandas de frecuencia, y diezmar las secuencias de potencia espectral integrada para formar un conjunto de series temporales de características de ancho de banda bajo.

La figura 6 ilustra un espectro de potencia de audio típico y la división de este espectro en varias bandas de frecuencia. Las bandas de frecuencia más baja son preferiblemente más estrechas que las bandas de frecuencia más alta para equilibrar la potencia total en cada banda y para cumplir con las características auditivas humanas.

La figura 7 ilustra formas de onda de serie temporal de varias características.

La figura 8 ilustra la división de una forma de onda de una única característica en segmentos solapados. A continuación se normalizan, procesan y almacenan estos segmentos en la base de datos de patrones para su reconocimiento posterior.

La figura 9 muestra las etapas de procesamiento de señal que se usan preferiblemente para generar una estructura de datos de patrón de referencia a partir de las formas de onda de serie temporal de características. En primer lugar, se agrupan las características de todo el trabajo en una secuencia de segmentos de tiempo que se solapan. A continuación cada segmento se ajusta a escala en bloque hasta una potencia total fija. La característica ajustada a escala se procesa entonces mediante una transformada rápida de Fourier (FFT) para producir el espectro complejo. La desviación típica móvil de la característica de ajuste a escala también se calcula por un intervalo igual a la mitad de la longitud del segmento. A continuación se construyen las estructuras de datos individuales que representan cada característica de cada segmento. Cuando se han procesado todas las características de todos los segmentos, las características en cada segmento se ordenan según un rango según su contenido de información. A continuación se construye el nivel superior de la estructuras de datos de patrón.

La figura 10 ilustra la estructura preferida de una entrada de patrón de referencia de base de datos. Puede usarse un código de identificación de patrón de referencia tanto para las estructuras de datos de patrón de referencia como para una estructura de datos que describe el trabajo. La estructura de datos de patrón de referencia incluye una lista de punteros a descriptores de segmentos. Cada descriptor de segmento contiene códigos de identificación de patrón y segmento y una lista de punteros a estructuras de características. Cada estructura de características comprende códigos de identificación de patrón, segmento y característica y los propios datos de patrón. Incluidos en los datos de patrón están el factor de escala usado para normalizar los datos, la desviación típica de correlaciones aleatorias, un umbral de probabilidad de detección y un umbral de probabilidad de rechazo. Después de estos, los parámetros son el espectro complejo de series temporales de características y la desviación típica móvil (RMS) de las series temporales de característica. Cada componente de la estructura de datos global también puede contener una suma de control para validar la integridad de datos.

La figura 11 ilustra el preprocesamiento preferido de características que puede producirse antes del reconocimiento de patrones en tiempo real. Se adquiere un bloque nuevo de datos de características y se elimina la media de cada característica. A continuación se normaliza cada característica para obtener la potencia total fija. A continuación se rellenan los bloques de características normalizados para duplicar su longitud añadiendo ceros. A continuación se calcula la transformada rápida de Fourier de cada bloque de características para producir el espectro complejo.

La figura 12 muestra el procedimiento y la estrategia preferidos usados para identificar un trabajo usando un subconjunto de características disponibles. El bloque de características de entrada desconocido se compara con cada segmento de un trabajo particular. Para cada segmento de un trabajo, las características se evalúan secuencialmente según su contenido de información. La probabilidad de falsa alarma se estima cada vez que se añade información nueva. Las decisiones de detección/rechazo se hacen basándose en dos conjuntos de umbrales de probabilidad.

La figura 13 ilustra el proceso de correlación de características preferido entre un espectro complejo de características desconocidas y un espectro complejo de patrón de referencia candidato. El espectro de potencia cruzada se calcula en primer lugar antes de calcular la inversa de FFT, obteniendo una función de correlación cruzada. La primera mitad de esto se normaliza mediante la desviación típica móvil. La segunda mitad de las funciones de correlación contiene valores deformados de manera circular y se rechaza.

La figura 14 es un ejemplo de una función de correlación de características que contiene un evento de detección.

La figura 15 ilustra cómo se obtienen las probabilidades de detección falsa a partir de una distribución de valores de correlación aleatorios. Tal como se muestra en (A), se estima la función de densidad de probabilidad de valores de correlación que no corresponden para un grupo amplio de patrones de fondo durante la inicialización. A continuación se estima la función (B) de distribución acumulativa mediante integración (A). Finalmente, se estima la probabilidad de falsa alarma restando la función de distribución acumulativa de una según se muestra en (C).

Descripción detallada de la realización a modo de ejemplo actualmente preferida 1. Perspectiva general

La realización preferida se refiere a una tecnología y a un sistema para la captación de muestras de audio y la identificación automática de señales usando un método conocido como reconocimiento de patrones pasivo. En contraste con la tecnología de reconocimiento de señales activo, que inyecta códigos de identificación en el material grabado, el enfoque pasivo usa características o propiedades de la propia grabación para distinguirlo de otras posibles entradas de audio. Aunque ambos métodos tienen sus ventajas, los enfoques pasivos son los más apropiados para la identificación de muestras de audio. Hay varias razones para ello. En primer lugar, las señales de identificación codificadas que se añaden al material de audio en sistemas activos pueden detectarse con frecuencia por un oído exigente. Cuando se reduce el nivel de inyección de código hasta el punto en el que es inaudible, sufre la fiabilidad de la recuperación de código. Además, a menudo se destruyen los códigos inyectados mediante procesamiento de radiodifusión o procesamiento de señal necesario para distribuir audio en redes informáticas. Sin embargo, el defecto más importante de las tecnologías activas es que hay millones de trabajos en distribuciones que no se han marcado con agua. Este material no puede identificarse; sólo pueden detectarse automáticamente versiones nuevas que se han procesado para inyectar códigos usando técnicas activas. Por tanto, las técnicas activas no son apropiadas para la captación de muestras de audio usando un dispositivo portátil pequeño y la posterior identificación automática.

Por el contrario, los sistemas de reconocimiento de patrones pasivos aprenden las características distintivas de cada grabación de audio. Durante un procedimiento de entrenamiento, los trabajos que van a identificarse se analizan y las características del audio de procesan para obtener plantillas que se reconocerán posteriormente. Estas plantillas se almacenan en un sitio de reconocimiento central. Las muestras de audio desconocidas que se captan por los usuarios se transfieren entonces al sitio central para su análisis y comparación con las características de cada patrón conocido. Obsérvese que es posible transferir las propias muestras de audio o calcular y transferir sólo las características de las muestras de audio. Cuando las propiedades de la muestra de audio desconocida corresponden con uno de los conjuntos de plantillas almacenados en una base de datos, se considera que la muestra desconocida corresponde con el trabajo que se usó para producir las plantillas correspondientes. Esto es análogo a la huella digital o a la correspondencia de ADN. Seleccionando apropiadamente las características del audio que se usan para construir las plantillas almacenadas este proceso puede ser extremadamente fiable, incluso en casos en los que la señal se ha degradado y distorsionado de forma significativa por el ruido ambiental. Evidentemente, el sistema puede aprender a reconocer cualquier trabajo, antiguo o nuevo.

En la mayor parte de las implementaciones de tecnología de reconocimiento de señales pasivo, las plantillas almacenadas en la base de datos se obtienen a partir de un único intervalo de tiempo de una grabación que puede oscilar desde varios segundos hasta un minuto de duración. Entonces el sistema monitoriza cada canal de entrada de manera continua, buscando una correspondencia con una de las plantillas en la base de datos. En esta configuración, el sistema sólo ha aprendido una pieza pequeña de cada grabación que debe reconocer. A medida que el sistema busca correspondencias de patrón de audio a partir de sus canales de entrada, debe adquirir repetidamente segmentos de señal y compararlos con entradas de la base de datos. El sistema debe monitorizar continuamente cada uno de sus canales de entrada. Por el contrario, podría producirse un segmento de tiempo que corresponda con una de las plantillas de la base de datos cuando el sistema no monitoriza un canal particular. Claramente, este enfoque no es adecuado para una aplicación en la que un consumidor desea captar sólo una muestra pequeña de una grabación para su identificación automática posterior.

La realización preferida según la presente invención se diseña de diferente manera. En lugar de aprender un segmento de tiempo único a partir de cada grabación de audio, todos los segmentos de tiempo que comprenden cada trabajo se aprenden y almacenan en una base de datos de patrones. Aunque esto incrementa el tamaño de la base de datos de patrones, el tamaño no es irrazonable. El reconocimiento de señales se lleva a cabo a partir de un bloque de muestras de señales de entrada único. Una vez que se ha captado y almacenado un bloque de muestras de audio, se compara con todas las plantillas almacenadas a partir de todas las grabaciones en la base de datos.

La arquitectura del sistema de reconocimiento según la presente invención es una red distribuida de ordenadores especialmente equipados. Esta red puede crecer de una manera uniforme para expandir el número de puertos de entrada o el número de grabaciones de audio en la base de datos. Características o muestras de audio se proporcionan al sistema de reconocimiento a través de Internet u otros medios similares. Estas muestras de audio se captan de audio en campo libre de prácticamente cualquier fuente. Estas fuentes incluyen transmisión por Internet de grabaciones de audio, radiodifusión, o grabaciones reproducidas localmente. Independientemente de la fuente de señales, los procesos de reconocimiento de patrones implicados son los mismos.

La presente invención utiliza un proceso de registro o inicialización para producir plantillas de grabaciones que deben identificarse más tarde. En este proceso, las señales de audio se digitalizan y procesan para extraer secuencias de características importantes. Estas características representan generalmente mediciones de energía presentes en diferentes partes del espectro de audio. Secuencias de estas mediciones comprenden flujos de datos de series temporales que indican la estructura dinámica de la señal. Los flujos de características múltiples se dividen entonces en intervalos o segmentos de tiempo que se solapan de varios segundos cada uno que cubren toda la grabación. Las características de audio de cada segmento se analizan para determinar qué características llevan la información más descriptiva acerca del segmento. A continuación se ordenan las características según un rango según su contenido de información, y se seleccionan las mejores características para construir una plantilla de un segmento particular. Obsérvese que cada segmento puede usar un subconjunto diferente de características disponibles, y pueden ordenarse de manera diferente en cada segmento. A continuación se normalizan las características y se aplica la transformada rápida de Fourier para producir espectros complejos que facilitan la correlación de características rápida. Además, cada característica se correlaciona con un gran número de características similares almacenadas en la biblioteca de patrones. Esto permite estimar la desviación típica de valores de correlación cuando el segmento no está presente en el flujo de entrada. A partir de esto puede predecirse la probabilidad de que un valor de correlación de pico particular ocurra aleatoriamente. Las características de orden según un rango, factores de normalización y desviaciones típicas de características se almacenan como grabaciones estructuradas en una entrada a la base de datos que representa el trabajo completo.

El proceso de reconocimiento de señales funciona en señales de audio desconocidas extrayendo características de la misma manera que en el proceso de inicialización. Sin embargo, en lugar de captar el trabajo completo, sólo es necesario adquirir una única instantánea o muestra de tiempo con la misma duración a la de un segmento de plantilla; en la presente realización, aproximadamente 6 segundos. Todas las características disponibles se calculan a partir de la muestra de audio desconocida. Obsérvese que la extracción de características puede realizarse en el dispositivo de muestreo portátil o en el sitio central. Para cada segmento de tiempo de cada patrón en la base de datos, la característica más descriptiva se correlaciona con la medición de características correspondiente a partir de la señal de entrada desconocida. Basándose en el valor de pico de la función de correlación y la desviación típica de correlaciones de fondo calculadas durante la inicialización, se realiza una estimación de la probabilidad de que la correlación se haya producido aleatoriamente. Si la probabilidad es lo suficientemente baja, el patrón se sitúa en una lista de candidatos. Los patrones en la lista de candidatos se evalúan entonces adicionalmente correlacionando la siguiente característica más valiosa de cada segmento de patrón en la lista de candidatos con las características correspondientes de la entrada desconocida. La probabilidad de correlación aleatoria (falsa) se estima entonces también en relación a esta característica. Suponiendo la independencia estadística de las dos correlaciones de características, la probabilidad de que los dos eventos se hayan producido aleatoriamente es el producto de las probabilidades individuales. Este proceso se repite usando características adicionales hasta que la probabilidad de que se haya producido un evento de detección de manera aleatoria es lo suficientemente baja para confiar en que la detección es legítima. Los patrones en la lista de candidatos que superan la probabilidad de umbral de detección falsa se eliminan.

Este proceso iterativo de evaluar características adicionales da como resultado una reducción drástica en la carga de cálculo. Por ejemplo, supongamos que para cada correlación de características, sólo el cinco por ciento de los patrones candidatos producen probabilidades de falsa alarma por debajo del umbral para su consideración adicional. Entonces, se ignorará el 95% de los candidatos en cada paso de correlación de características. Si se usan cuatro características, el número total de correlaciones N_{C} que debe calcularse es

...(1)N_{c} = (1 + 0,05 + (0,05)^{2} + (0,05)^{3}) * N_{p}

en la que N_{P} es el número total de patrones en la base de datos. En este caso, N_{c} =1,052625*N_{p}. El uso de cuatro características requiere sólo un cálculo ligeramente mayor que una característica única. En comparación, si no se usó este rechazo iterativo de candidatos, se habrían requerido N_{c}=4*N_{p} correlaciones. El ahorro en el cálculo es sustancial, y aumenta a medida que se usan más características. Esto permite al sistema funcionar con una mayor base de datos que busca más patrones, o procesar más peticiones de identificación usando los mismos recursos de cálculo.

El algoritmo de reconocimiento de patrones preferido se basa en funciones de correlación cruzada de cálculo entre datos de series temporales de característica extraídos de las muestras de audio desconocidas y patrones de referencia o plantillas derivadas de la señal que va a identificarse. El rendimiento de la función de correlación se determina por la cantidad de información contenida en el patrón. Si hay demasiado poca información en el patrón, tendrá una tasa de falsa alarma elevada debido a correlaciones aleatorias que superan el umbral de detección. Si hay demasiada información en el patrón, pequeñas variaciones o distorsiones de la señal de entrada degradarán el valor del pico de correlación dando lugar a la falta de detecciones. Para la realización preferida, el contenido de información de un patrón es igual a su producto de ancho de banda-tiempo. Se ha encontrado que un producto de ancho de banda-tiempo de 80-100 proporciona tasas de falsa alarma bajas mientras sigue tolerando la distorsión típica en un entorno de radiodifusión o ruido de fondo ambiental. Una duración de patrón de 10 segundos requeriría por tanto un ancho de banda de 8-10 Hz para producir el rendimiento deseado. Este ancho de banda puede ser de un flujo de información único o de varios flujos separados con menos ancho de banda, suponiendo que los flujos individuales son estadísticamente independientes. De manera similar, pueden usarse varios segmentos de tiempo de ancho de banda pequeño para producir el producto de ancho de banda de tiempo requerido.

La función de correlación o respuesta de filtro correspondiente puede implementarse en el dominio de tiempo integrando los productos de muestras de series temporales de la plantilla y un número correspondiente de muestras de las series de entrada desconocidas y a continuación normalizando apropiadamente el resultado. Sin embargo, debería repetirse el proceso para cada valor de retardo en el tiempo que debe evaluarse. La carga de cálculo, sin embargo, puede no ser aceptable. Se prefiere una técnica mejor conocida como convolución rápida, que se basa en el algoritmo de la transformada rápida de Fourier. En lugar de calcular directamente cada valor de correlación, se calcula un bloque completo de valores de correlación como la transformada inversa de Fourier del espectro de potencia cruzada de las series temporales de plantilla y un bloque de muestras de datos de entrada. El resultado puede normalizarse por el producto de las desviaciones típicas de la entrada y la plantilla. Además, si han de calcularse correlaciones de manera continua, la plantilla o el patrón de referencia puede rellenarse con ceros para duplicar su longitud y los datos de entrada pueden formar bloques dando lugar a almacenamientos intermedios de longitud doble. Este proceso se repite usando segmentos solapados de los datos de entrada y evaluando los valores de la primera mitad de los almacenamientos intermedios de función de correlación resultantes. En este método, el flujo de entrada se monitoriza de manera continua. Cualquier incidencia del patrón de referencia en el flujo de entrada se detectará en tiempo real.

El método usado en la realización preferida usa un enfoque de correlación rápida en el que se invierten los papeles de los datos de entrada y la plantilla. En este enfoque, se adquiere una secuencia de almacenamientos intermedios de datos solapados a partir de las series temporales de audio completas para su reconocimiento durante el proceso de inicialización. Entonces se crea un conjunto de plantillas como la transformada rápida de Fourier de los almacenamientos intermedios de datos normalizados. Como bien se conoce en la tecnología de reconocimiento de señales, puede usarse una normalización de correlación posterior para ajustar la potencia de señal presente en la parte de la plantilla en la que se produce el bloque de entrada. Para conseguirlo, se calcula un conjunto de valores de amplitud RMS para cada uno de los posibles retardos de tiempo. Estos valores se calculan y almacenan en la estructura de datos de patrón durante la inicialización.

En el proceso de reconocimiento, se adquiere un bloque de datos de característica a partir de la muestra de audio desconocida del flujo de entrada y se normaliza para obtener una potencia total fija. Entonces se rellena con ceros para duplicar su longitud y se aplica una transformada de Fourier para producir un espectro complejo. El espectro de entrada se multiplica entonces por vectores por cada uno de los espectros de plantilla. A los espectros de potencia cruzada resultantes se les aplica entonces una transformada inversa de Fourier para producir un conjunto de funciones de correlación. Estas funciones de correlación aproximadas se normalizan entonces dividiendo cada valor en la correlación entre el valor de RMS correspondiente almacenado en la estructura de datos de patrón. Los valores de correlación oscilan entre 1,0 para una correspondencia perfecta hasta 0,0 para una no correspondencia hasta -1,0 para un opuesto exacto. Además, el valor medio de estas correlaciones siempre será 0,0. Calculando funciones de correlación para características múltiples y combinándolas según sus propiedades estadísticas, se proporciona un método eficaz y preciso para reconocer formas de onda de serie temporal multivariantes.

El método de la presente invención usa flujos de características múltiples extraídos del audio. Esto permite adaptar la generación de plantillas y el proceso de reconocimiento a los aspectos más distintivos de cada grabación. Además, se organiza el proceso de reconocimiento de patrones para conservar la capacidad de procesamiento. En este enfoque, se realiza una clasificación inicial usando sólo una o dos características. Para cada correlación de características que se evalúa en un segmento de tiempo particular, el sistema estima la probabilidad de que un evento de este tipo pudiera producirse aleatoriamente. Los patrones candidatos con una probabilidad baja de incidencia aleatoria se examinan adicionalmente calculando la correlación con una característica adicional. Los picos de correlación se hacen corresponder en una ventana de tiempo y se estima la probabilidad de que la nueva correlación de características se produzca aleatoriamente. El sistema calcula entonces la probabilidad de una correlación aleatoria simultánea como el producto de las probabilidades individuales (suponiendo una independencia estadística). Si esta probabilidad conjunta está por debajo de un umbral de detección predeterminado, se determina que el evento representa un reconocimiento válido y se informa de la detección. Si la probabilidad conjunta está por encima de un umbral de rechazo predeterminado separado, se considera que el evento es una falsa alarma y el patrón ya no se considera un candidato para su reconocimiento. Por el contrario, se calcula una correlación de característica adicional y se actualiza la probabilidad conjunta para incluir la información de característica nueva.

Este proceso se repite hasta haber tomado una decisión o tras haber evaluado todas las características. La base para relacionar valores de correlación a probabilidades es la desviación típica de correlaciones de características entre plantillas de patrones y una base de datos amplia de características similares extraídas de diferentes grabaciones almacenadas en la base de datos de patrones. Esto se realiza durante la inicialización de cada grabación. Puesto que estas correlaciones tienen aproximadamente una distribución normal, la función de distribución acumulativa puede usarse para estimar la probabilidad de que un valor de correlación particular se produjo de manera aleatoria.

El sistema de reconocimiento de patrones se lleva a cabo en gran medida por la estructura de la base de datos de patrones. Con el fin de soportar una gran diversidad de modo de funcionamiento y tipos de señales, se ha creado una estructura de datos de patrón que es jerárquica y autodescriptiva. Puesto que el sistema debe poder identificar aleatoriamente muestras de audio seleccionadas, se ha creado una representación generalizada de flujos de características que permite usar las características más eficaces para cada segmento. Otros segmentos de la misma grabación pueden usar conjuntos de características completamente diferentes. Un aspecto es común a todas las características es que se representan preferiblemente como una serie temporal de mediciones de ciertas características del audio.

Un patrón de referencia está estructurado preferiblemente como una jerarquía de tres capas. En el nivel superior el código de identificación de patrón y el tipo de patrón se indican en las primeras dos palabras. La tercera palabra indica el número de segmentos de tiempo en el patrón. A continuación hay una lista de punteros a bloques de descriptores de segmentos seguida por una suma de control para garantizar la integridad del bloque.

Cada bloque de descriptores de segmentos lleva el código de identificación de patrón y el tipo de patrón como las primeras dos palabras en la cabecera de bloque. A continuación está el número de segmento que indica qué intervalo de tiempo se representa. La cuarta palabra indica el número de características en el bloque de segmentos actual. A continuación hay una lista de punteros a bloques de datos de características seguida de una suma de control.

El tercer nivel en la jerarquía es el nivel de bloque de datos de características. Además de la información de cabecera, estos bloques contienen realmente datos de características de patrones. Las primeras tres palabras llevan el código de identificación de patrón, el tipo de patrón y el número de segmento como en el caso del bloque de descriptores de segmentos. La cuarta palabra en el bloque de datos de características indica el tipo de característica. La palabra de tipo de característica se usa para seleccionar qué flujo de característica de la entrada debe compararse con este bloque. A continuación hay un factor de escala que se usa para ajustar la ganancia relativa entre las características para mantener la precisión. Esto se usa porque los datos de series temporales de característica se normalizan preferiblemente para conservar el rango dinámico. La desviación típica de las correlaciones de fondo (falsa alarma) se almacena junto con los umbrales de probabilidad de rechazo y detección. A continuación en el bloque de datos de característica hay un filtro con correspondencia de dominio de frecuencia obtenido de los datos de características normalizados. (El filtrado con correspondencia y de correlación son operaciones matemáticamente equivalentes en las que la "plantilla" y el "filtro" son sustancialmente lo mismo. En la realización preferida, las plantillas se almacenan como espectros complejos que representan la respuesta de fase y amplitud. El valor de salida máximo se produce cuando el espectro de la entrada desconocida es la conjugada compleja de la plantilla en cada frecuencia). El arreglo de normalización de características se almacena a continuación en forma comprimida. Al final del bloque hay una suma de control, de nuevo para garantizar la integridad de la estructura de datos.

Además de las estructuras de datos de características de señal que se almacenan en la base de datos de patrones de referencia hay un conjunto de estructuras que proporcionan información acerca del propio trabajo como el nombre, tipo, autor y editor de cada trabajo. Varios códigos de identificación típicos de la industria tales como ISWC (Código internacional normalizado para obras musicales), ISRC (Código de grabación internacional normalizado) e ISCI (Identificación de codificación internacional normalizado) están almacenados en la base de datos de patrones. En esta estructura también pueden estar incluidos el tipo de fuente de medios, la duración del trabajo, y la fecha y momento de la inicialización del patrón. Estas estructuras están indexadas por el mismo código de ID de patrón usado para hacer referencia a las estructuras de datos de características de señal. Los datos de descripción del trabajo se utilizan para dar información útil para los usuarios.

\vskip1.000000\baselineskip

2. Estructuras y funciones

La realización preferida de la invención comprende un sistema de recogida e identificación de señales que puede captar muestras de un entorno 1 de audio local que contiene grabaciones musicales u otras fuentes de audio. Estas fuentes pueden incluir la radiodifusión convencional, suministros de distribución por satélite, Internet y redes de distribución de datos, y diversos servicios de suscripción. Los usuarios del sistema llevan un pequeño dispositivo 2 de grabación digital que permite digitalizar y almacenar muestras de audio en una memoria local. De manera opcional, se extraen, comprimen y almacenan características de reconocimiento en el dispositivo 2 de grabación digital en lugar de la forma de onda de audio, para ahorrar memoria. Posteriormente, el usuario transfiere estas muestras de audio o características de audio utilizando un ordenador 3 personal u otros medios electrónicos a una instalación 4 de reconocimiento en la que se identifican. Una vez que se ha identificado una muestra como parte de una grabación que está contenida en la base de datos 5 del sistema de reconocimiento, se reproduce la grabación correspondiente para el usuario de tal modo que el usuario puede confirmar que la grabación es, en realidad, la que el usuario ha muestreado. Si el usuario confirma la identificación, el sistema ofrece la oportunidad de comprar la grabación de una manera en línea o interactiva. Una grabación comprada puede proporcionarse desde un minorista local, enviarse desde un almacén central, o transferirse electrónicamente. Estas operaciones y procedimientos se ilustran en la
figura 1.

Un dispositivo de captación de audio típico se muestra en la figura 2. Este dispositivo puede estar separado o puede estar incorporado en otros dispositivos electrónicos tales como teléfonos móviles, PDA (Personal Digital Assistants, Asistentes Personales Digitales) como Palm Pilots^{TM}, o cualquier tipo de receptor de radio portátil. La realización preferida del dispositivo de captación de audio incluye un pequeño micrófono 6 para adquirir la señal de audio y un conversor 7 analógico a digital que incluye el acondicionamiento de señal necesario tal como preamplificadores y filtros antisolapamiento. La salida del conversor 7 analógico a digital comprende una serie temporal digital que representa la forma de onda de tensión de la señal de audio captada. Cuando un usuario oye una canción que le gustaría identificar para una posible compra, se presiona un botón 8 de inicio para comenzar a captar la muestra de audio. Entonces se transfiere un bloque de muestra de duración fija desde el conversor 7 analógico a digital hasta el procesador 9 de señal digital. El procesador 9 de señal digital puede entonces formatear y etiquetar el bloque de audio captado para su almacenamiento en una memoria no volátil tal como la memoria 10 flash. Alternativamente, el procesador 9 de señal digital puede realizar la extracción de características y almacenar sólo las características de reconocimiento altamente comprimidas en la memoria 10 flash. Puesto que el dispositivo de captación de audio sólo está activo durante los procesos de adquisición y almacenamiento de señales, puede alimentarse mediante una pequeña batería 11 con larga esperanza de vida de batería. Las muestras de audio o muestras de características de audio captadas se transfieren posteriormente a un ordenador personal utilizando el enlace 12 de datos. Este enlace de datos puede ser cualquiera de los estándares comunes tales como RS-232, IEEE-1394, USB, o IrDA.

Para llevar a cabo la identificación de audio, las muestras de audio o muestras de características de audio se transfieren a un sitio central tal como se ilustra en la figura 3, preferiblemente utilizando Internet 13. La realización a modo de ejemplo preferida del sitio central está configurada como una red distribuida de subsistemas informáticos en la que cada subsistema tiene funciones específicas. Los usuarios se comunican a través de Internet 13 con un sitio 14 web y transmiten sus muestras de audio para su identificación. Estas muestras se transfieren a su vez desde el sitio 14 web hasta uno o más susbsistemas 16 de reconocimiento de patrones. Los susbsistemas 16 de reconocimiento de patrones entonces comparan las características de las muestras de audio suministradas por el usuario con datos de características similares almacenados en una base de datos 18 de patrones maestros. Con el fin de crear patrones de referencia, uno o más subsistemas 17 de inicialización de patrones procesan señales de audio de medios físicos o fuentes electrónicas para crear plantillas de vectores de características de audio. Estos se formatean y almacenan en la base de datos 18 de patrones maestros. Cuando se hacen corresponder las muestras de audio del usuario con plantillas en la base de datos 18 de patrones maestros, los resultados de la detección se indexan con datos correspondientes en el sistema 15 de base de datos de gestión tales como el nombre de la canción y el artista. Esta información se transmite a través del sitio 14 web al usuario utilizando Internet 13.

Los subsistemas 17 de inicialización de patrones aceptan trabajos de audio completos que han de introducirse en la base de datos 18 de patrones maestros. Estos subsistemas realizan extracción de características de la misma manera que en el procesamiento de captación de muestras de audio. Sin embargo, en lugar de construir paquetes breves de características para la identificación, los subsistemas 17 de inicialización extraen formas de onda de característica continuas del trabajo completo. Las formas de onda de característica se rompen entonces en segmentos de serie temporal solapantes y se procesan para determinar qué características deberían utilizarse para el reconocimiento de señales y en qué orden. Las estructuras de datos de patrones de referencia resultantes se almacenan en la base de datos 18 de patrones maestros. Estos patrones se transfieren posteriormente a los susbsistemas 16 de reconocimiento de patrones para su comparación con los paquetes de características de entrada desconocidas.

El/los ordenador(es) del sitio 14 web interactúa(n) con usuarios que pueden transmitir muestras de audio o bloques de características de audio para su identificación. Si se ha realizado extracción de características en el dispositivo de captación de audio, los bloques de características pueden transferirse directamente a susbsistemas 16 de reconocimiento de patrones para su identificación. De otro modo, el proceso de extracción de características se realiza utilizando una placa de procesador de señal e interfaz de audio tal como se ilustra en la figura 4. Obsérvese que este tipo de procesador de señal también se utiliza en el subsistema 17 de inicialización de patrones para extraer características para la generación de patrones de referencia para su almacenamiento en la base de datos de patrones maestros.

El subsistema de inicialización de patrones comprende un ordenador central y una o más placas de circuito de procesador de señal especializadas que realizan la extracción de características real. El procesador de señal e interfaz de audio según la realización preferida se ilustra en la figura 4. En este ejemplo, pueden procesarse simultáneamente hasta ocho fuentes de audio. De esta manera, pueden soportarse múltiples estaciones de trabajo para añadir entradas a la base de datos. Las entradas de audio analógicas están conectadas a filtros 19 de paso bajo antisolapamiento analógicos para restringir la frecuencia de audio máxima (a 3,2 kHz en este ejemplo). Las salidas de estos filtros están conectadas a un multiplexor 20 de canales que explora rápidamente las salidas del filtro. En este ejemplo, con ocho canales muestreados a 8 kHz cada uno, el multiplexor 20 de canales conmuta a una tasa de 64 kHz. La salida del multiplexor de canales está conectada a un conversor 21 analógico a digital que funciona a la tasa de muestras agregada que produce una serie temporal multiplexada de las fuentes seleccionadas.

La salida del conversor 21 analógico a digital se transmite a un procesador 22 de señal digital programable que realiza el procesamiento digital de las formas de onda de serie temporal de audio para extraer características y construir los paquetes de características que han de reconocerse. El procesador 22 de señal digital puede comprender un microprocesador de propósito especial que está optimizado para aplicaciones de procesamiento de señal. Está conectado a una memoria 24 de programas (en la que se almacenan programas y constantes) y una memoria 23 de datos para el almacenamiento de arreglo de datos y variables. El procesador 22 de señal digital también se conecta al bus 26 de ordenador central utilizando una interfaz tal como la interfaz 25 de bus PCI para el intercambio de datos entre el procesador de señal digital y el ordenador central. Obsérvese que en casos en los que está disponible audio digitalizado para la extracción de características, estos datos se transfieren directamente desde el bus 26 de ordenador central a través de la interfaz 25 de bus PCI hasta el procesador 22 de señal digital, saltando los filtros 19 de paso bajo antisolapamiento, el multiplexor 20 de canales, y el conversor 21 analógico a digital.

El procesamiento de señal de audio necesario para realizar la extracción de características se realiza preferiblemente en software o firmware instalado en el procesador 22 de señal digital, tal como se representa en la figura 5. Las muestras de audio digitalizadas de una de las fuentes de señal se agrupan en un conjunto 27 de muestras y se fusionan con uno o más conjuntos 28 de muestras anteriores para formar una ventana en la serie temporal de audio para el análisis espectral periódico. El tamaño de esta ventana determina la resolución espectral mientras que el tamaño del nuevo conjunto 27 de muestras determina el intervalo entre actualizaciones. Una vez que se ha preparado un bloque de datos para su análisis, se multiplica por una función tal como una ventana 29 Hanning para reducir la fuga espectral debido a los denominados efectos de extremo provocados por el tamaño de bloque finito. La serie temporal resultante se procesa entonces mediante una transformada 30 rápida de Fourier (FFT) para producir el espectro complejo. Entonces se calcula el espectro 31 de potencia a partir del espectro complejo sumando los cuadrados de las componentes real e imaginaria de cada intervalo de frecuencia.

Un ejemplo del espectro 31 de potencia de audio resultante se muestra en la figura 6. Esta figura también indica la división del espectro en varias bandas de frecuencia. La potencia total en cada una de las bandas de frecuencia se encuentra integrando la potencia contenida en todos los intervalos de frecuencia en las bandas respectivas tal como se muestra en 32. Cada vez que se realizan los procesos anteriores, se genera un nuevo conjunto de mediciones de características. En la mayoría de los casos, la tasa de actualización será todavía mucho mayor que la deseada desde el punto de vista de ancho de banda de características y la tasa de datos resultante. Por esta razón, se reduce la tasa de muestra procesando cada secuencia de características de banda de frecuencia mediante un filtro 33 de paso bajo de diezmación polifásico. En la realización preferida de la invención, esto da como resultado una tasa de muestra de características de audio de aproximadamente 10 Hz.

La figura 7 es un ejemplo de un conjunto de formas de onda de característica extraídas de una señal de audio. En el caso del proceso de reconocimiento de señales, se recoge un conjunto de 64 muestras consecutivas de cada forma de onda de característica para construir paquetes de características de reconocimiento. Al construir patrones de referencia, cada forma de onda de característica se rompe en segmentos que son de 128 muestras de largo y están solapados en 64 muestras. Esto garantiza que un paquete de características de muestras de entrada desconocidas estará contenido completamente en al menos uno de los segmentos de referencia de características. La segmentación solapante de una única característica se ilustra en la figura 8. Esta segmentación se aplica a todas las características disponibles.

El procedimiento para generar patrones de referencia se ilustra en la figura 9. Para cada característica de cada segmento, la forma de onda de característica primero se ajusta a escala en bloque a una potencia total fija. Esto garantiza que la precisión y el intervalo dinámico del procesamiento de señal se conservan. El factor de escala utilizado en ese ajuste a escala se guarda. A continuación se calcula la transformada rápida de Fourier (FFT) de la forma de onda de característica, proporcionando el espectro complejo que se utiliza en el algoritmo de correlación rápida. También se calcula una desviación típica móvil (RMS) de la forma de onda de característica para su uso en normalizar apropiadamente las funciones de correlación. En la realización preferida de la invención, la desviación típica se calcula para cada una de las 64 posiciones centro de un segmento de 128 muestras utilizando una ventana que es de 64 muestras de largo. Una vez que se han procesado todas las características de todos los segmentos como se describió anteriormente, se mide el contenido de información de cada característica de cada segmento. La medida del contenido de información usada en la realización preferida es el grado de dispersión espectral de energía en el espectro de potencia de cada característica. Esto puede estimarse estadísticamente a partir del segundo momento del espectro de potencia. Las características con una energía ampliamente dispersa tienen una estructura más compleja y por tanto, son más distintivas en su capacidad para discriminar entre patrones diferentes. Las características en cada segmento se ordenan según un rango por su contenido de información de modo que se usarán las características más útiles en primer lugar en el proceso de reconocimiento de patrones. Las características con muy poca información que serán útiles se eliminan de la estructura de datos de patrones de referencia. A continuación se calculan los parámetros de detección. Cada característica se correlaciona con un gran número de muestras de patrones que no corresponden con el patrón que se considera. La distribución estadística que se obtiene caracteriza el comportamiento de falsa alarma de la característica. Entonces se calculan probabilidades de detección y rechazo aceptables a partir de la probabilidad conjunta de falsa alarma. Éstas se almacenan como umbrales de detección y rechazo que van a usarse en el proceso de reconocimiento de patrones.

La estructura de la base de datos de patrones de referencia de la realización preferida se ilustra en la figura 10. Esta estructura contiene dos tipos de información, ambos están indexados por un código 43 de identificación de patrón único. El primero es un registro 45 de datos descriptivos que contiene información administrativa tal como el nombre, tipo, autor y editor del trabajo. También están incluidos diversos datos y códigos de identificación típicos de la industria que describen los medios fuente y la fecha y tiempo de inicialización. El código de identificación de patrones también está incluido en este registro para permitir la comprobación cruzada de la base de datos.

La segunda parte de la base de datos preferida es un conjunto jerárquico de estructuras de datos que contienen los propios datos de patrones de referencia más la información necesaria para procesar los datos. En la parte superior de esta jerarquía se encuentra el bloque 44 descriptor de patrones. Este bloque contiene el código de identificación de patrones para permitir la comprobación de integridad de la base de datos y el tipo de patrón. A continuación hay un número que indica el número de segmentos en el patrón y un conjunto de punteros a bloques 46 descriptores de segmentos. Una suma de control también puede estar incluida para verificar la integridad del bloque. Los bloques descriptores de segmentos contienen el código de identificación de patrones, el tipo de patrón y el número de segmento para verificar la integridad de las estructuras de datos. A continuación se encuentra el número de características, una lista de punteros a bloques de características y una suma de control opcional. Cada bloque 47 de características contiene el código de identificación de patrones, el tipo de patrón (audio, vídeo, mixto, etc.), el número de segmento y el tipo de característica (audio, vídeo, etc.). A continuación se encuentra el factor de escala que se usó para ajustar a escala en bloque la forma de onda de característica durante la inicialización seguido de la desviación típica de las correlaciones de fondo (falsas) que se calculó a partir de la distribución de correlaciones de falsa alarma. Los umbrales de probabilidad de detección y rechazo se incluyen a continuación. Éstos se usan para determinar si puede confirmarse una detección, puede confirmarse una falsa alarma o si debe evaluarse otra característica para decidir. El espectro complejo de los datos de características se incluye a continuación, seguido de la desviación típica móvil (RMS) de la forma de onda de característica que se usa para normalizar las funciones de correlación aproximadas. También puede incluirse una suma de control.

La figura 11 identifica las etapas que se usan para preparar un nuevo bloque de características de entrada para el reconocimiento de patrones. El conjunto de características de entrada aproximado comprende un conjunto de formas de onda de serie temporal que representa muestras captadas. En primer lugar, se elimina el valor medio de cada característica. A continuación se normaliza cada característica dividiendo cada valor de datos de características entre la desviación típica calculada por todo el bloque. A continuación se rellena cada serie temporal de características normalizadas con ceros para duplicar su duración. Ésta es una etapa preferida en el proceso de correlación rápida para evitar la deformación circular en el tiempo de los valores de datos de valores de correlación de distorsión. A continuación se calcula la transformada rápida de Fourier (FFT) de cada característica, produciendo un espectro complejo.

Los procesos de reconocimiento de patrones empleados en la realización preferida de la invención se ilustran en la figura 12. Cuando se adquiere un nuevo bloque de características de entrada, se compara con patrones candidatos en una o más de las listas de patrones de referencia. Después de inicializar esta lista para acceder al patrón siguiente que va a evaluarse, se selecciona la primera característica a partir de tanto la entrada desconocida como el patrón de referencia. A continuación se calcula la función de correlación cruzada. La función de correlación tiene un valor de uno para una correspondencia perfecta, de cero para una correlación inexistente y de menos uno para una anticorrelación perfecta. Entonces se encuentra el valor máximo de la función de correlación. A continuación se divide el valor de pico de correlación entre la desviación típica de correlaciones de fondo (falsas) que se encontró en el proceso de inicialización para conseguir el número de desviaciones típicas a partir del valor medio de cero. Usando estadísticas gaussianas puede determinarse una estimación de la probabilidad de que este evento se produjo aleatoriamente (una falsa alarma). El proceso se repite para características subsiguientes en el mismo instante de tiempo. Las probabilidades resultantes de falsa alarma para las características individuales se multiplican para producir una probabilidad de falsa alarma compuesta. La probabilidad compuesta de falsa alarma (PFA) se compara entonces con un límite superior. Si la PFA compuesta supera este límite, se considera que la detección de candidatos es una falsa alarma y se rechaza el patrón. Por el contrario, la PFA compuesta se compara con un límite inferior.

Si la PFA compuesta es menor que el límite inferior, la probabilidad de que el evento se deba a eventos aleatorios se considera lo suficientemente baja como para que el evento sea un reconocimiento de patrones legítimo. A continuación se registra el evento de detección junto con el tiempo y fecha de esta incidencia y la fuente o número de canal. La información adicional relativa al tiempo restante en la grabación se pasa al programador para permitirle que realice planes de programación más eficaces. Si la PFA compuesta está por encima del límite inferior y está por debajo del límite superior, la causa del evento sigue siendo incierta y requiere el uso de información adicional a partir de otras características. Este proceso de correlacionar y estimar PFA de características individuales, actualizar la PFA compuesta y evaluar la PFA compuesta se repite hasta que puede tomarse una decisión. Obsérvese que se usa un par nuevo de límites de PFA cada vez que se añade una nueva característica. Además, los límites de PFA superior e inferior para la última característica disponible se establecen para ser iguales para obligar a tomar una decisión. Los procesos anteriores se repiten para todos los segmentos de tiempo de todos los patrones en la lista de patrones candidatos. Esto podría dar como resultado detecciones simultáneas de dos o más patrones. Si se producen tales detecciones simultáneas, esto podría indicar que un trabajo o grabación es un compuesto de otros trabajos inicializados.

La figura 13 ilustra las etapas para realizar el algoritmo de correlación rápida usando los espectros complejos de las formas de onda de característica a partir de la entrada desconocida y un patrón de referencia inicializado de la base de datos. Estos espectros se multiplican en primer lugar para producir el espectro de potencia cruzada complejo. La transformada rápida de Fourier inversa se aplica entonces al espectro cruzado para obtener una función de correlación aproximada. La primera mitad de esta función de correlación se normaliza entonces mediante la desviación típica móvil (RMS) calculada previamente durante la inicialización y almacenada en la estructura de características de la base de datos de patrones. La segunda mitad de la función de correlación representa valores con deformación circular en el tiempo que se rechazan. Un ejemplo de una correlación de características normalizada de manera apropiada se muestra en la figura 14.

La figura 15 ilustra cómo pueden estimarse probabilidades de detección falsa a partir de los valores de correlación de características y la desviación típica de correlaciones de fondo (falsas) calculadas durante la inicialización. Se ha encontrado que la distribución de correlaciones aleatorias es aproximadamente normal dando como resultado una función de densidad de probabilidad semejante a la figura 15A. En la realización preferida de la invención, los valores de correlación se dividen entre la desviación típica de las correlaciones de fondo. Esto da lugar al número de desviaciones típicas a partir del valor esperado. La función de distribución acumulativa mostrada en la figura 15B indica la probabilidad de que un valor de correlación expresado en desviaciones típicas englobará todas las detecciones legítimas. Por ejemplo, se encuentra que la desviación típica de correlaciones de fondo es de 0,3 durante la inicialización y se calcula un valor de correlación de 0,6 durante el reconocimiento de patrones, el valor de correlación está 2 desviaciones típicas por encima del valor esperado (medio) para todas las correlaciones. A partir de la figura 15B se supone que este valor de correlación es superior al 97,7 por ciento de todos los valores de correlación que se producen aleatoriamente. La probabilidad de que una correlación aleatoria supere este valor es por tanto sólo del 2,3 por ciento. Esto se ilustra en la figura 15C en la que se define la probabilidad de que una falsa alarma para una característica individual sea PFA=1-CDF((pico de correlación)/sigma). En la realización preferida de la invención estas probabilidades se almacenan en una tabla para una consulta rápida. Suponiendo la independencia estadística de las características, la probabilidad de que se produzcan detecciones falsas simultáneas de características es simplemente el producto de las probabilidades individuales de falsa alarma.

Los expertos en la técnica de reconocimiento de audio se percatarán rápidamente de que pueden usarse varios dispositivos y métodos para poner en práctica la presente invención, incluyendo pero sin limitarse a:

Captación y almacenamiento de audio en campo libre. Un método y aparato portátil para la captación selectiva y el almacenamiento digital de muestras del entorno de audio local. Pueden almacenarse o bien la forma de onda de audio o las características comprimidas de la forma de onda de audio. El dispositivo de captación de audio contiene un micrófono, un sistema electrónico de tratamiento de señales, un conversor analógico a digital, un procesador de señales digitales y una memoria para el almacenamiento de las muestras de audio captadas.

Transferencia de datos de audio. Un método y aparato para transferir electrónicamente formas de onda de audio almacenadas o características comprimidas de las formas de onda de audio desde el dispositivo de captación portátil hasta un sitio central para su identificación. Este método puede utilizar Internet u otra red de datos. Alternativamente, puede usarse una conexión directa a un sitio de ordenador central para transferir muestras de audio para su identificación.

Extracción de características. Un proceso para la extracción de características de reconocimiento de las muestras de audio. Este proceso incluye medir la energía en una pluralidad de bandas de frecuencia de la señal de audio. Secuencias de estas mediciones representan características de series temporales que se usan para construir patrones de referencia para la base de datos de patrones. Se usan características procesadas de modo similar a partir de muestras de audio desconocidas para la identificación de señales.

Inicialización de patrones. Un proceso para construir patrones de referencia a partir de características de audio de trabajos que van a identificarse. Este proceso acepta como su entrada formas de onda de serie temporal de característica a partir de un trabajo completo que va a identificarse. Cada característica se divide entonces en segmentos de tiempo solapantes. Las series temporales de característica segmentada se normalizan para obtener potencia fija en cada segmento de cada característica. Se calcula una desviación típica móvil para cada segmento de cada característica para su uso en funciones de correlación de característica de procesamiento posterior durante el proceso de reconocimiento. Estos datos se formatean entonces para obtener estructuras de datos de patrones de referencia para su almacenamiento en una base de datos de patrones.

Reconocimiento de patrones. Un proceso para comparar las muestras de audio captadas desconocidas transferidas desde los usuarios con patrones de referencia almacenados en la base de datos de patrones. El proceso de reconocimiento implica el cálculo de funciones de correlación entre las características de los bloques de audio desconocidos y las características correspondientes de trabajos almacenados en la base de datos de patrones. Para cada función de correlación, se estima la probabilidad de que se haya producido aleatoriamente. Se calculan características adicionales según sea necesario y se evalúan iterativamente para determinar la probabilidad conjunta de una detección falsa aleatoria. Este proceso se repite hasta que una detección puede confirmarse de manera concluyente o hasta que puede rechazarse de manera concluyente. Cuando se identifica un bloque de características de audio captadas, el nombre del trabajo y el artista se comunican al usuario. De otro modo se declarará como desconocido.

Modelo de transacción. Se ha creado un método para permitir a los usuarios llevar un dispositivo pequeño de recopilación de audio para captar muestras de música desconocidas que se escuchan por radio, televisión o cualquier otra fuente de grabaciones de audio. Las muestras de audio desconocidas se transfieren posteriormente de forma electrónica a un sitio de ordenador central. El ordenador central compara las muestras transmitidas por el usuario con patrones almacenados en una biblioteca de patrones de referencia almacenada en el ordenador central. El ordenador central informa al usuario de la identidad del trabajo desconocido si la identificación ha sido satisfactoria. Opcionalmente, puede enviarse una muestra breve de audio al usuario para confirmar la identidad. Al usuario se le da entonces la oportunidad de comprar la grabación en línea, a través del servidor de reconocimiento u otro servidor comercial en Internet o en la misma red. Alternativamente, el usuario puede dirigirse a un minorista local en el que puede comprarse la grabación.

3. Conclusión

Por tanto, lo que se ha descrito es una metodología y un sistema que permite a los usuarios usando un dispositivo manual pequeño. Estas muestras representan normalmente audio en campo libre de canciones desconocidas u otros medios grabados. Las características de audio o audio captado se transmiten a un sitio central para su identificación. También se describe un método y aparato para reconocer automáticamente interpretaciones de audio de una manera precisa y eficaz. Opcionalmente, se proporciona a los usuarios la oportunidad de comprar grabaciones una vez que se han identificado. La función de extracción de señales de características puede realizarse mediante o bien el dispositivo manual o bien el ordenador personal. Además, las funciones de comunicación y extracción de características pueden realizarse en software que se descarga al dispositivo manual y/o el ordenador personal. De manera similar, las funciones de reconocimiento de patrones y extracción de señales de características pueden incorporarse en software que se ejecute en el servidor de reconocimiento.

Los componentes individuales mostrados en los dibujos son todos muy conocidos en las técnicas de procesamiento de señales, y su funcionamiento y construcción específica no son críticos para el funcionamiento o mejor modo de llevar a cabo la invención.

Aunque la presente invención se haya descrito con respecto a lo que actualmente se consideran las realizaciones preferidas, debe entenderse que la invención no está limitada a las realizaciones dadas a conocer. Por el contrario, se pretende que la invención cubra diversas modificaciones y estructuras y funciones equivalentes incluidas en el alcance de las reivindicaciones.

Claims (9)

1. Sistema para reconocer señales de audio en campo libre, que comprende:

un dispositivo (2) portátil que tiene un micrófono (6) para captar señales de audio en campo libre, correspondiendo las señales de audio en campo libre captadas a una parte de un trabajo de audio grabado que es menor que un trabajo de audio grabado completo;

un procesador (3) local, que puede acoplarse a dicho dispositivo (2) portátil, para transmitir características de señal de audio correspondientes a las señales de audio en campo libre captadas a un sitio de reconocimiento;

incluyendo uno de dicho dispositivo (2) portátil y dicho procesador (3) local un conjunto de circuitos que extrae una serie temporal de características de señal de audio espectralmente distintas de cualquier parte de las señales de audio en campo libre captadas, correspondiendo la serie temporal de características de señal de audio espectralmente distintas a la parte de un trabajo de audio grabado que es menor que el trabajo de audio grabado completo;

y un procesador (16) de reconocimiento y una memoria (18) de reconocimiento en el sitio de reconocimiento, almacenando dicha memoria (18) de reconocimiento datos correspondientes a una pluralidad de plantillas de audio, correlacionando dicho procesador (16) de reconocimiento las características de señal de audio transmitidas desde dicho procesador (3) local con al menos una de las plantillas de audio almacenadas en dicha memoria (18) de procesador de reconocimiento, proporcionando dicho procesador (16) de reconocimiento una señal de reconocimiento basándose en la correlación.

2. Sistema según la reivindicación 1, en el que dicho dispositivo (2) portátil incluye: un conversor (7) analógico a digital que digitaliza las señales de audio en campo libre captadas; y un procesador que extrae la serie temporal de características de señal de audio espectralmente distintas de las señales de audio en campo libre captadas.

3. Sistema según la reivindicación 1, en el que dicho procesador (3) local extrae la serie temporal de características de señal de audio espectralmente distintas de las señales de audio en campo libre captadas.

4. Sistema según la reivindicación 1, en el que dicho procesador (3) local comprende un ordenador personal acoplado a Internet (13).

5. Sistema según la reivindicación 1, en el que dicha memoria (18) de procesador de reconocimiento almacena una pluralidad de plantillas de audio, correspondiendo cada plantilla a sustancialmente un trabajo de audio completo.

6. Sistema según la reivindicación 5, en el que dicho dispositivo (2) portátil tiene una memoria que almacena señales de audio en campo libre que corresponden a menos que un trabajo de audio completo.

7. Sistema según la reivindicación 6, en el que el trabajo de audio comprende una canción.

8. Sistema según la reivindicación 1, en el que dicho procesador (16) de reconocimiento, en respuesta a la señal de reconocimiento, transmite al menos una parte de la al menos una plantilla almacenada en dicha memoria (18) de procesador de reconocimiento a dicho procesador (3) local para su verificación.

9. Sistema según la reivindicación 1, en el que dicho procesador (16) de reconocimiento correlaciona matemáticamente las características de señal de audio transmitidas desde dicho procesador (3) local con la al menos una de las plantillas de audio almacenadas en dicha memoria (18) de procesador de reconocimiento.