ES2204071T3 - Sintetizador de habla basado en fomantes que utiliza una concatenacion de semisilabas con transicion independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes. - Google Patents

Sintetizador de habla basado en fomantes que utiliza una concatenacion de semisilabas con transicion independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes.

Info

Publication number
ES2204071T3
ES2204071T3 ES99309293T ES99309293T ES2204071T3 ES 2204071 T3 ES2204071 T3 ES 2204071T3 ES 99309293 T ES99309293 T ES 99309293T ES 99309293 T ES99309293 T ES 99309293T ES 2204071 T3 ES2204071 T3 ES 2204071T3
Authority
ES
Spain
Prior art keywords
filter
semi
syllable
syllables
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES99309293T
Other languages
English (en)
Inventor
Steve Pearson
Nicholas Kibre
Nancy Niedzielski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of ES2204071T3 publication Critical patent/ES2204071T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G10L13/07—Concatenation rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

Un sintetizador de habla concatenativo, que comprende: una base de datos (60) que contiene (a) unos datos de formas de onda de semisílabas asociados con una pluralidad de semisílabas, y (b) unos datos de coeficientes de filtro asociados con la mencionada pluralidad de semisílabas; un sistema de selección de unidades (70) que sirve para extraer los datos de formas de onda de semisílabas y los coeficientes de filtro seleccionados de la mencionada base de datos correspondientes a una cadena de entrada destinada a ser sintetizada; un mecanismo de transición por fundido gradual de formas de onda (102) para unir pares de datos de formas de onda de semisílabas extraídos para formar señales de formas de onda de sílabas; caracterizado por un mecanismo de transición por fundido gradual de coeficientes de filtro (106) para definir un conjunto de datos de filtro a nivel de sílaba para realizar una interpolación sigmoidea entre los respectivos coeficientes de filtro extraídos (108) de dos semisílabas; yun módulo de filtro (110, 112, 114, 116) receptor del mencionado conjunto de datos de filtro de nivel de sílaba, con capacidad para procesar las mencionadas señales de formas de onda silábicas para generar el habla sintetizada.

Description

Sintetizador de habla basado en formantes que utiliza una concatenación de semisílabas con transición independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes.
Antecedentes y resumen de la invención
La presente invención está relacionada en general con la síntesis del habla y más en particular con un sintetizador concatenativo basado en un modelo de fuente-filtro en el que la señal fuente y los coeficientes de filtro se generan por mecanismos independientes de transición por fundido gradual.
La síntesis de habla moderna implica muchas concesiones. Para aplicaciones de vocabulario limitado, suele ser factible almacenar palabras enteras como muestras digitales para posteriormente ser concatenadas en frases para su reproducción. Con un buen algoritmo de prosodia que coloque la acentuación en las palabras adecuadas, estos sistemas tienden a sonar de una forma bastante natural, porque las palabras pueden ser reproducciones exactas del habla humana real. Sin embargo, en el caso de vocabularios más extensos no resulta posible almacenar muestras de palabras completas del habla humana real. Por ello, una serie de especialistas en síntesis del habla han investigado la posibilidad de partir el habla en unidades más pequeñas y concatenar estas unidades para formar palabras, frases y, finalmente, oraciones.
Desafortunadamente, al concatenar unidades de subpalabras, los especialistas deben enfrentarse a varios problemas de difícil solución. Para reducir las necesidades de memoria de los sistemas a una cantidad razonable, es necesario desarrollar unidades de subpalabras versátiles que se puedan usar para formar muchas palabras diferentes. Sin embargo, a menudo estas unidades de subpalabras versátiles no se concatenan bien. Durante la reproducción de unidades de subpalabras, con frecuencia se produce una perceptible distorsión o interrupción (glitch) en el punto en que se unen las unidades de subpalabras. Además, como hay que modificar el tono (pitch) y la duración de las unidades de subpalabras para adecuarlas al patrón prosódico determinado, con mucha frecuencia las técnicas que actualmente se emplean para realizar estas modificaciones incurren en una distorsión. Finalmente, dado que la mayoría de los segmentos del habla están fuertemente influenciados por los segmentos vecinos, no hay un conjunto simple de unidades de concatenación (como fonemas o difonos) que puedan representar adecuadamente el habla humana.
Algunos especialistas en síntesis del habla han sugerido diversas soluciones para los problemas de concatenación anteriores pero, hasta ahora, ninguna de ellas los ha resuelto satisfactoriamente. El habla humana genera formas de onda complejas variables en el tiempo para las que las soluciones simples de procesamiento de señales no son válidas.
EL documento titulado "New algorithm for spectral smoothing and envelope modification for LP-PS'OLA synthesis" de Giménez de los Galanes et al (Actas de ICASSP94, páginas 1-573 - 6, Nueva York), describe un sintetizador de habla concatenativo que utiliza una base de datos de formas de onda, una pluralidad de unidades de concatenación y datos de coeficientes de filtro asociados con la pluralidad de unidades de concatenación, un sistema de selección de filtros, un mecanismo de transición por fundido gradual de coeficientes de filtro y un módulo de filtro receptor de un conjunto de datos de filtro de nivel de forma de onda compuesta para generar el habla sintetizada.
El documento titulado "Improving Naturalness in Text-to-speech Synthesis using Natural Glottal Source" de Kenji Matsui et al (ICASSP1991, Nueva York, páginas 769 - 772), describe un mecanismo de transición por fundido gradual de formas de onda, que utiliza una transición por fundido gradual lineal en el dominio del tiempo.
Nuestro trabajo nos ha llevado a la convicción de que solamente será posible encontrar una solución satisfactoria para los problemas de concatenación conjuntamente con el descubrimiento de un modelo robusto de síntesis del habla. Además, necesitaremos un conjunto adecuado de unidades de concatenación y mejores posibilidades de modificar estas unidades de forma dinámica para reflejar los segmentos adyacentes.
Por consiguiente, proponemos un sintetizador de habla concatenativo tal como se establece en la reivindicación 1.
Las realizaciones específicas son las establecidas en las reivindicaciones dependientes.
Para comprender mejor la invención, sus objetivos y sus ventajas, hay que referirse a la siguiente descripción y a los dibujos acompañatorios.
Breve descripción de los dibujos
La Figura 1 es un diagrama de bloques que ilustra el modelo fuente-filtro básico con el que se puede emplear la invención;
la Figura 2 es un diagrama de la tecnología del sintetizador de habla que ilustra el espectro de combinaciones posibles fuente-filtro, destacando en particular el dominio en el que reside el sintetizador de la presente invención;
la Figura 3 es un diagrama de flujo que ilustra el procedimiento utilizado para la construcción de bases de datos de formas de onda en la presente invención;
las figuras 4A y 4B muestran un diagrama de flujo que ilustra el proceso de síntesis según la invención.
la Figura 5 es un diagrama de formas de onda que ilustra la transición por fundido gradual en el dominio del tiempo de fragmentos de formas de onda fuente;
La Figura 6 es un diagrama de bloques del aparato actualmente preferido útil para la práctica de la invención;
la Figura 7 es un diagrama de flujo que ilustra el proceso de acuerdo con la invención.
Descripción detallada de la realización preferida
A pesar de que han sido muchos los modelos de sintetizadores de habla propuestos en el pasado, la mayoría tienen en común la siguiente estructura de procesamiento de señal de dos componentes. Como se muestra en la Figura 1, el habla se puede modelizar como un componente fuente inicial (10), procesado a través de un componente posterior de filtro (12).
Dependiendo del modelo, la fuente, el filtro o ambos, pueden ser muy simples o muy complejos. Por ejemplo, una forma anterior de síntesis de habla utilizaba formas de onda altamente complejas a base de MIC (Modulación por impulsos codificados) como fuente, y un filtro muy simple (ganancia de unidades). En el sintetizador MIC, todo el conocimiento a priori estaba incluido en la fuente y nada en el filtro. Sin embargo, otro método de síntesis utilizaba un simple tren de impulsos repetitivos como fuente y un filtro complejo, en comparación con el del sistema anterior, basado en LPC (Codificación lineal predictiva). Hay que tener en cuenta que ninguna de estas técnicas de síntesis convencionales intentaron modelizar las estructuras físicas del tracto vocal humano que son las responsables del habla humana.
La presente invención emplea un modelo de síntesis basado en formantes que vincula estrechamente los componentes del sintetizador de fuente y filtro con las estructuras físicas del tracto vocal humano. Específicamente, el sintetizador de la presente invención basa el modelo de fuente en una mejor estimación de la señal fuente producida en la glotis. De manera similar, el modelo de filtro está basado en las estructuras resonantes (productoras de formantes) que generalmente se encuentran por encima de la glotis. Por estas razones, decimos que nuestra técnica de síntesis está "basada en formantes".
La Figura 2 resume varias combinaciones fuente-filtro, mostrando en el eje vertical una medida comparativa de la complejidad del componente de fuente o de filtro correspondiente. En la Figura 2, los componentes de fuente y filtro se ilustran como ejes verticales situados a ambos lados de la gráfica. A lo largo del eje de la fuente, la complejidad relativa disminuye de arriba abajo, mientras que a lo largo del eje del filtro, la complejidad relativa aumenta de arriba abajo. Varias líneas generalmente horizontales o diagonales conectan un punto del eje de la fuente con un punto del eje del filtro para representar un tipo particular de sintetizador de habla. Por ejemplo, la línea horizontal (14) conecta una fuente bastante compleja con un filtro bastante simple para definir el sintetizador TD-PSOLA, un ejemplo de un tipo de tecnología de síntesis bien conocida en la que una forma de onda de fuente MIC se aplica a un filtro de identidades. De manera similar, la línea horizontal (16) conecta una fuente relativamente simple con un filtro relativamente complejo para definir otro tipo conocido de sintetizador del vocoder de fase, el sintetizador de armónicos. En esencia, este sintetizador utiliza una forma simple de forma de onda fuente de tren de impulsos y un filtro complejo diseñado mediante técnicas de análisis de espectros como las Transformadas rápidas de Fourier (FFT). El sintetizador LPC clásico está representado por la línea diagonal (17), que conecta una fuente de tren de impulsos con un filtro LPC. El sintetizador de Klatt de la línea (18) está definido por una fuente de coeficientes aplicada a través de un filtro compuesto por formantes y ceros.
En contraste con la tecnología de síntesis convencional precedente, la presente invención ocupa una ubicación en la Figura 2 generalmente ilustrada por la región rayada (20). En otras palabras, la presente invención puede usar una forma de onda que va desde una fuente glótica pura hasta una fuente glótica con efectos nasales. El filtro puede ser un simple banco de filtros de formantes o un filtro algo más complejo compuesto por formantes y ceros.
Según nuestro conocimiento, la síntesis concatenativa de la técnica anterior ha evitado en buena parte la región (20) de la Figura 2. La región (20) corresponde lo más aproximadamente posible a la separación natural que se da en el ser humano entre la fuente de voz glótica y el tracto vocal (filtro). Creemos que la operación en la región (20) presenta algunas ventajas inherentes debido a su posición central entre los dos extremos de la representación en el dominio puro del tiempo (como TD-PSOLA) y la representación del dominio puro de la frecuencia (como el vocoder de fase o el sintetizador de armónicos).
La realización actualmente preferida de nuestro sintetizador basado en formantes utiliza una técnica que emplea un filtro y un filtro inverso para extraer la señal fuente y los coeficientes de formantes del habla humana. Las señales y coeficientes extraídos se usan después en el modelo fuente-filtro correspondiente a la región (20) de la Figura 2. El procedimiento actualmente preferido para extraer los coeficientes de fuente y de filtro del habla humana se describe más adelante en esta descripción. La presente descripción se centrará en otros aspectos del sintetizador basado en formantes, a saber, aquellos relativos a la selección de unidades concatenativas y a la transición por fundido gradual.
El sintetizador basado en formantes de la invención define unidades de concatenación que representan pequeños pedazos de habla digitalizada que luego se concatenan juntos para la reproducción a través del módulo de sonido del sintetizador. Las técnicas de transición por fundido gradual de la invención se pueden emplear con unidades de concatenación de diversos tamaños. La sílaba es una unidad natural a este efecto, pero en los casos en que hay limitaciones de memoria, la elección de la sílaba como unidad básica de concatenación puede resultar prohibitiva en cuanto a la capacidad de memoria necesaria. En consecuencia, en la realización actual se usa la semisílaba como unidad básica de concatenación. Una parte importante del sintetizador basado en formantes es la dedicada a realizar la transición por fundido gradual para unir con suavidad las semisílabas adyacentes de manera que las sílabas resultantes suenen naturales y sin interrupciones (glitches) ni distorsión. Como se explicará más adelante con más detalle, el sistema actual realiza esta transición por fundido gradual tanto en el dominio del tiempo como en el dominio de la frecuencia, y en el proceso participan los dos componentes del modelo fuente-filtro: las formas de onda fuente y los coeficientes del filtro de formantes.
La realización preferida almacena datos de formas de onda fuente y datos de coeficientes de filtro en una base de datos de formas de onda. La base de datos en su forma máxima almacena formas de onda de habla digitalizada y datos de coeficientes de filtro para por lo menos un ejemplo de cada semisílaba que se encuentra en el lenguaje natural (por ejemplo, el inglés). En una forma conservadora de memoria, la base de datos se puede recortar para eliminar formas de onda de habla redundantes. Como las semisílabas adyacentes se pueden afectar significativamente entre sí, el sistema preferido almacena datos para cada contexto diferente que encuentra.
La Figura 3 muestra la técnica actualmente preferida para construir la base de datos de formas de onda. En la Figura 3 (y también en las siguientes figuras 4A y 4B), los cuadros con bordes superiores con línea doble representan los principales encabezamientos de bloques de procesamiento. Los cuadros con línea simple situados debajo de estos encabezamientos representan los pasos o módulos individuales que componen el bloque principal designado por el bloque de encabezamiento.
Con relación a la Figura 3, la base de datos de formas de onda se construye como se indica en (40) compilando previamente una lista de semisílabas y secuencias limítrofes como se ilustra en la fase (42). Esto se lleva a cabo generando todas las combinaciones posibles de semisílabas (fase (44)) y excluyendo luego todas las combinaciones no usadas como se indica en (46). La fase (44) puede ser un proceso repetitivo en el que se generan todas las permutaciones diferentes de semisílabas iniciales y finales. Esta exhaustiva lista de todas las combinaciones posibles se reduce selectivamente a continuación para reducir el tamaño de la base de datos. Esta reducción se realiza en la fase (46) consultando un diccionario de palabras (48) que contiene transcripciones fonéticas de todas las palabras que el sintetizador va a pronunciar. Estas transcripciones fonéticas se utilizan para eliminar todas las combinaciones de semisílabas que no se encuentran en las palabras que el sintetizador va a pronunciar.
La realización preferida también trata los límites entre las sílabas, como los que hay en los límites de las palabras o en los límites de las frases. Estas unidades limítrofes (a menudo grupos de consonantes) se construyen a partir de difonos muestreados en el contexto correcto. Una de las formas de excluir combinaciones de unidades limítrofes no usadas es disponer de un corpus de texto (50) que contenga frases de ejemplo formadas con las palabras contenidas en el diccionario de palabras (48). Estas frases se usan para definir diferentes contextos de límites de palabras, de manera que las combinaciones de unidades limítrofes que no se encuentran en el corpus de texto se pueden excluir en la fase (46).
Una vez creada y reducida la lista de semisílabas y unidades limítrofes, los datos de formas de onda muestreados asociados con cada semisílaba se graban y etiquetan en la fase (52). En este proceso se aplican marcadores fonéticos al principio y al final de la porción relevante de cada semisílaba, tal como se indica en la fase (54). Esencialmente, las partes relevantes de los datos de formas de onda muestreados se extraen y se etiquetan asociando las porciones extraídas con las semisílabas o con las unidades limítrofes correspondientes de las que se obtuvo la muestra.
El siguiente paso consiste en extraer los datos de fuente y de filtro de los datos de formas de onda etiquetados como se ilustra de manera general en la fase (56). En la fase (56) se emplea una técnica que más adelante se describe con detalle con la que el habla humana real se procesa a través de un filtro y de su filtro inverso utilizando una función de coste que ayuda a extraer una señal fuente inherente y coeficientes de filtro de cada uno de los datos de formas de onda etiquetados. A continuación, los datos extraídos de fuente y de filtro se almacenan en la fase (58) en la base de datos de formas de onda (60). La base de datos de formas de onda maximales (60) contiene así datos de (formas de onda) fuente y datos de coeficientes de filtro de todas las semisílabas y unidades limítrofes etiquetadas. Una vez creada la base de datos de formas de onda, el sintetizador ya se puede usar.
Para utilizar el sintetizador, se suministra una cadena de entrada como se indica en (62) en la Figura 4A. La cadena de entrada puede ser una cadena de fonemas que represente a una frase u oración, tal como se indica en forma diagramática en (64). La cadena de fonemas puede incluir patrones de entonación alineados (66) e información sobre la duración de las sílabas (68). Los patrones de entonación y la información de la duración proporcionan información prosódica que el sintetizador puede usar para alterar selectivamente el tono (pitch) y la duración de las sílabas para dar una inflexión de habla humana más natural a la frase u oración.
La cadena de fonemas se procesa a través de una serie de fases en las que se extrae información de la base de datos de formas de onda (60) y se interpreta por medio de mecanismos de transición por fundido gradual. Primero, se realiza la selección de unidades tal como indica el bloque de encabezamiento (70). En este proceso se aplican reglas de contexto como se indica en (72) para determinar los datos que se deben extraer de la base de datos de formas de onda (60). Las reglas de contexto, ilustradas diagralmente en (74), especifican las semisílabas o unidades limítrofes que se deben extraer de la base de datos en determinadas condiciones. Por ejemplo, si la cadena de fonemas solicita una semisílaba que está representada directamente en la base de datos, entonces se selecciona esta semisílaba. A la hora de realizar selecciones en la base de datos de formas de onda, las reglas de contexto tienen en cuenta las semisílabas de las unidades sonoras vecinas. Si la semisílaba necesaria no está representada directamente en la base de datos, entonces las reglas de contexto especifican la aproximación más inmediata a la semisílaba necesaria. Las reglas de contexto están diseñadas para seleccionar las semisílabas que suenan de la manera más natural cuando se concatenan. Por ello, las reglas de contexto están basadas en principios lingüísticos.
A modo de ejemplo: Si la semisílaba necesaria va precedida por una oclusiva bilabial sonora (por ejemplo, /b/) en la palabra sintetizada, pero la semisílaba no se encuentra en ese contexto en la base de datos, las reglas de contexto especificarán el contexto deseable más próximo. En este caso, las reglas de contexto pueden elegir un segmento precedido por una bilabial diferente, tal como la /p/.
A continuación, el sintetizador crea la cadena acústica de objetos silábicos correspondiente a la cadena de fonemas que el sistema le ha suministrado como entrada. Este paso se indica de manera general en (76) y consiste en la construcción de datos fuente para la cadena de semisílabas como se especificó durante la selección de unidades. Estos datos fuente corresponden al componente fuente del modelo fuente-filtro. Los coeficientes de filtro también se extraen de la base de datos y se manipulan para crear la cadena acústica. La manera en que se manipulan los coeficientes de filtro se explica más adelante. La realización actualmente preferida define la cadena de objetos silábicos como una lista vinculada de sílabas (78) que, a su vez, comprende por una lista vinculada de semisílabas (80). Las semisílabas contienen fragmentos de formas de onda (82) obtenidos en la base de datos de formas de onda (60).
Una vez compilados los datos fuente, se lleva a cabo una serie de fases de transformación para realizar la transición por fundido gradual de los datos fuente en el dominio del tiempo e independientemente, realizar también la transición por fundido gradual de los coeficientes de filtro en el dominio de la frecuencia. Los pasos de transformación aplicados en el dominio del tiempo se muestran a partir de la fase (84). Las fases de transformación aplicadas en el dominio de la frecuencia se muestran a partir de la fase (110) (Figura 4B).
La Figura 5 ilustra la técnica actualmente preferida para representar una transición por fundido gradual de los datos fuente en el dominio del tiempo. Con relación a la Figura 5, una sílaba de duración S está compuesta por una semisílaba inicial y otra final de duración A y B. Los datos de forma de onda de la semisílaba A aparecen en (86) y los de la semisílaba B, en (88). Estos fragmentos de forma de onda se deslizan hasta su posición (ordenados en el tiempo) de tal manera que las dos semisílabas encajen en la duración de la sílaba S. Hay que tener presente que hay una cierta superposición entre las semisílabas A y B.
El mecanismo de transición por fundido gradual de la realización preferida realiza una transición por fundido gradual lineal en el dominio del tiempo. Este mecanismo se ilustra en forma de diagrama en (90), y la función de transición por fundido gradual lineal se representa en (92). Obsérvese que en el momento = t_{0} la semisílaba A recibe todo el énfasis mientras que la semisílaba B recibe cero énfasis. Cuando el tiempo transcurre y se llega al momento t_{s}, el énfasis de la semisílaba A se reduce gradualmente mientras que el énfasis de la semisílaba B aumenta gradualmente. El resultado del proceso es una forma de onda compuesta o fusionada gradualmente para la sílaba S completa, como se ilustra en (94).
Refiriéndonos ahora a la Figura 4B, se lleva a cabo un proceso independiente de transición por fundido gradual de los datos de coeficientes de filtro asociados a las semisílabas extraídas. El procedimiento empieza aplicando las reglas de selección de filtro (98) para obtener los datos de coeficientes de filtro a partir de la base de datos (60). Si la sílaba necesaria está representada directamente en un componente de excepción silábica de la base de datos (60), se usan los datos de filtro correspondientes a esa sílaba como se indica en la fase (100). Como alternativa, si el dato de filtro no está representado directamente como una sílaba completa en la base de datos, entonces se generan nuevos datos de filtro, como se indica en la fase (102), aplicando una operación de transición por fundido gradual a los datos de las dos semisílabas en el dominio de la frecuencia. La operación de transición por fundido gradual consiste en seleccionar una región de transición por fundido gradual en la cual los coeficientes de filtro de las semisílabas sucesivas serán fusionados gradualmente mediante la aplicación de una función adecuada de transición por fundido gradual como se indica en (106). La función de transición por fundido gradual se aplica en el dominio del filtro y es una función sigmoidea. Tanto si se ha obtenido directamente a partir del componente de excepción silábica de la base de datos (como se señala en la fase (100)), como si se ha generado mediante la operación de transición por fundido gradual, los datos de coeficientes de filtro se almacenan en (108) para su uso posterior en el sintetizador del modelo fuente-filtro.
La selección de la región adecuada de transición por fundido depende de los datos. El objeto de realizar la transición por fundido gradual en el dominio de la frecuencia es eliminar las interrupciones (glitches) o resonancias no deseadas sin degradar diptongos importantes. Para conseguirlo, hay que identificar regiones de transición por fundido gradual en las que las trayectorias de las unidades de habla que se van a unir sean tan similares como sea posible. Por ejemplo, en la construcción de la palabra inglesa "house", se pueden concatenar las unidades de filtro disilábicas para /haw/- y -/aws/ con superposición en la región central /a/.
Una vez que se han compilado los datos fuente y los datos de filtro y se han transformado como se explica en las fases anteriores, son transferidos, como se indica en (110), al banco de datos de formas de onda fuente (112) y al banco de datos de coeficientes de filtro (114), respectivamente, para ser usados por el sintetizador del modelo fuente-filtro (116) para producir habla sintetizada.
Extracción de señales fuente y coeficientes de filtro
La Figura 6 ilustra un sistema conforme a la invención mediante el cual la forma de onda fuente se puede extraer a partir de una señal de entrada compleja. En el proceso de extracción se utiliza un par filtro/filtro inverso.
En la Figura 6, el filtro (110) es definido por su modelo de filtro (112) y los coeficientes de filtro (114). La presente invención también emplea un filtro inverso (116) que corresponde al inverso del filtro (110). El filtro (116) tendría, por ejemplo, los mismos coeficientes de filtro que el filtro (110), pero sustituiría los ceros en todas las ubicaciones en las que el filtro (110) tuviera polos. Así, el filtro (110) y el filtro inverso 116 definen un sistema recíproco en el que el efecto del filtro inverso (116) es negado o invertido por el efecto del filtro (110). De esta manera, como se puede ver en los dibujos, una entrada de forma de onda de habla que primero procese el filtro inverso (116) y posteriormente el filtro (110), resulta en una salida de formas de onda que, en teoría, será idéntica a la forma de onda de entrada. En la práctica, ligeras variaciones en la tolerancia de los filtros o ligeras diferencias entre los filtros (116) y (110) darán lugar a una forma de onda de salida que se desvía algo de ser idéntica a la forma de onda de entrada.
Cuando una forma de onda de habla (u otra forma de onda compleja) se procesa a través del filtro inverso (116), la señal residual de salida en el nodo (120) se procesa mediante la aplicación de una función de coste (122). Por regla general, esta función de coste analiza la señal residual de acuerdo con una o varias funciones de proceso de una pluralidad, que se describen detalladamente más adelante, para producir un coeficiente de coste. Posteriormente, el coeficiente de coste se usa en las siguientes fases de procesamiento para ajustar los coeficientes de filtro (114) en un esfuerzo de minimizar el coeficiente de coste. En la Figura 1, el bloque minimizador de coste (124) representa en forma diagramática el proceso por el que los coeficientes de filtro se ajustan selectivamente para conseguir una reducción del coeficiente de coste. Este proceso se puede llevar a cabo de manera repetitiva, usando un algoritmo que ajuste incrementalmente los coeficientes de filtro a la vez que busca el mínimo coste.
Una vez logrado el mínimo coste, la señal residual resultante en el nodo (120) puede servir para representar una señal fuente extraída para posteriores síntesis del modelo fuente-filtro. A continuación, los coeficientes de filtro (114) que produjeron el coste mínimo se usan como coeficientes de filtro para definir el filtro (110) para usar en posteriores síntesis del modelo fuente-filtro.
La Figura 7 ilustra el proceso por el cual se extrae la señal fuente y se identifican los coeficientes de filtro, para conseguir un sistema de síntesis según el modelo fuente-filtro acorde con la invención.
Primero se define un modelo de filtro en la fase (150). Puede usarse cualquier modelo de filtro adecuado que se preste a una representación mediante coeficientes. Después, en la fase (152) se suministra un conjunto inicial de coeficientes. Hay que tener en cuenta que el conjunto inicial de coeficientes se irá alterando repetitivamente en los siguientes pasos del proceso para buscar los coeficientes que correspondan con la función de coste mínimo. Pueden utilizarse diversas técnicas para evitar una solución subóptima correspondiente a mínimos locales. Por ejemplo, el conjunto inicial de coeficientes usados en la fase (152) se puede seleccionar a partir de un conjunto o una matriz de coeficientes diseñados para proporcionar varios puntos de partida diferentes con el fin de evitar los mínimos locales. Por ello, en la Figura 7 se puede observar que la fase (152) se puede ejecutar varias veces para los diferentes conjuntos iniciales de coeficientes.
El modelo de filtro definido en (150) y el conjunto inicial de coeficientes definido en (152) se usan luego, en la fase (154), para construir un filtro (como se indica en (156)) y un filtro inverso (como se indica en (158)).
A continuación, la señal de habla se aplica al filtro inverso en (160) para extraer la señal residual, como se indica en (164). Como se puede ver en los dibujos, la realización preferida utiliza una ventana de Hanning centrada en el epoch de tono (pitch) actual y ajustada de manera que cubra periodos de dos tonos. Se pueden emplear también otras ventanas. Luego, la señal residual se procesa en (166) para extraer puntos de datos para usarlos en el cálculo del la longitud del arco.
La señal residual se puede procesar en un número de diferentes maneras para extraer los puntos de datos. Como se ilustra en (168), el procedimiento se puede ramificar en una o varias clases seleccionadas de rutinas de procesamiento. En (170) se ilustran algunos ejemplos de estas rutinas. Después, se realiza el cálculo de la longitud del arco (o de la longitud de forma cuadrada) en (172). El valor resultante sirve de coeficiente de coste.
Después de calcular el coeficiente de coste para el conjunto inicial de coeficientes de filtro, en la fase (174) se ajustan selectivamente estos coeficientes de filtro y el procedimiento se repite las veces necesarias como se indica en (176) hasta que se consigue el coste mínimo.
Una vez conseguido el coste mínimo, la señal residual extraída correspondiente a ese coste mínimo se usa en la fase (178) como señal fuente. Los coeficientes de filtro asociados con el coste mínimo se usan como coeficientes de filtro (fase (180)) en un modelo fuente-filtro.
Para obtener más detalles sobre la extracción de la señal fuente y los coeficientes de filtro, consulte la patente de Estados Unidos "Method and Apparatus to Extract Formant-Based Source-Filter Data for Coding and Synthesis Employing Cost Function and Inverse Filtering", Número de publicación: US-B-6 195 632, del 27/02/2001 por Steve Pearson y cedida al cesionario de la presente invención.
Si bien la invención se ha descrito en su realización actualmente preferida, se entenderá que la invención es susceptible de cierta modificación sin apartarse del ámbito de la invención establecido en las reivindicaciones adjuntas.

Claims (5)

1. Un sintetizador de habla concatenativo, que comprende:
una base de datos (60) que contiene (a) unos datos de formas de onda de semisílabas asociados con una pluralidad de semisílabas, y (b) unos datos de coeficientes de filtro asociados con la mencionada pluralidad de semisílabas;
un sistema de selección de unidades (70) que sirve para extraer los datos de formas de onda de semisílabas y los coeficientes de filtro seleccionados de la mencionada base de datos correspondientes a una cadena de entrada destinada a ser sintetizada;
un mecanismo de transición por fundido gradual de formas de onda (102) para unir pares de datos de formas de onda de semisílabas extraídos para formar señales de formas de onda de sílabas;
caracterizado por
un mecanismo de transición por fundido gradual de coeficientes de filtro (106) para definir un conjunto de datos de filtro a nivel de sílaba para realizar una interpolación sigmoidea entre los respectivos coeficientes de filtro extraídos (108) de dos semisílabas; y
un módulo de filtro (110, 112, 114, 116) receptor del mencionado conjunto de datos de filtro de nivel de sílaba, con capacidad para procesar las mencionadas señales de formas de onda silábicas para generar el habla sintetizada.
2. El sintetizador de la reivindicación 1 en el que el mencionado mecanismo de transición por fundido gradual de formas de onda actúa en el dominio del tiempo.
3. El sintetizador de la reivindicación 1 en el que el mencionado mecanismo de transición por fundido gradual de coeficientes de filtro actúa en el dominio de la frecuencia.
4. El sintetizador de la reivindicación 1 en el que el mencionado mecanismo de transición por fundido gradual de formas de onda realiza una transición por fundido gradual lineal sobre dos semisílabas durante un periodo de tiempo predefinido correspondiente a una sílaba.
5. El sintetizador de la reivindicación 1 en el que el mencionado mecanismo de transición por fundido gradual de coeficientes de filtro interpola entre los respectivos coeficientes de filtro de dos semisílabas previamente extraídos.
ES99309293T 1998-11-25 1999-11-22 Sintetizador de habla basado en fomantes que utiliza una concatenacion de semisilabas con transicion independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes. Expired - Lifetime ES2204071T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US200327 1998-11-25
US09/200,327 US6144939A (en) 1998-11-25 1998-11-25 Formant-based speech synthesizer employing demi-syllable concatenation with independent cross fade in the filter parameter and source domains

Publications (1)

Publication Number Publication Date
ES2204071T3 true ES2204071T3 (es) 2004-04-16

Family

ID=22741247

Family Applications (1)

Application Number Title Priority Date Filing Date
ES99309293T Expired - Lifetime ES2204071T3 (es) 1998-11-25 1999-11-22 Sintetizador de habla basado en fomantes que utiliza una concatenacion de semisilabas con transicion independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes.

Country Status (5)

Country Link
US (2) US6144939A (es)
EP (2) EP1005017B1 (es)
JP (1) JP3408477B2 (es)
DE (1) DE69909716T2 (es)
ES (1) ES2204071T3 (es)

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266638B1 (en) * 1999-03-30 2001-07-24 At&T Corp Voice quality compensation system for speech synthesis based on unit-selection speech database
US7369994B1 (en) * 1999-04-30 2008-05-06 At&T Corp. Methods and apparatus for rapid acoustic unit selection from a large speech corpus
JP2001034282A (ja) * 1999-07-21 2001-02-09 Konami Co Ltd 音声合成方法、音声合成のための辞書構築方法、音声合成装置、並びに音声合成プログラムを記録したコンピュータ読み取り可能な媒体
JP3361291B2 (ja) * 1999-07-23 2003-01-07 コナミ株式会社 音声合成方法、音声合成装置及び音声合成プログラムを記録したコンピュータ読み取り可能な媒体
US6807574B1 (en) 1999-10-22 2004-10-19 Tellme Networks, Inc. Method and apparatus for content personalization over a telephone interface
US7941481B1 (en) 1999-10-22 2011-05-10 Tellme Networks, Inc. Updating an electronic phonebook over electronic communication networks
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
JP3728172B2 (ja) * 2000-03-31 2005-12-21 キヤノン株式会社 音声合成方法および装置
US6963841B2 (en) * 2000-04-21 2005-11-08 Lessac Technology, Inc. Speech training method with alternative proper pronunciation database
US7280964B2 (en) * 2000-04-21 2007-10-09 Lessac Technologies, Inc. Method of recognizing spoken language with recognition of language color
US6847931B2 (en) 2002-01-29 2005-01-25 Lessac Technology, Inc. Expressive parsing in computerized conversion of text to speech
US6865533B2 (en) * 2000-04-21 2005-03-08 Lessac Technology Inc. Text to speech
US7143039B1 (en) 2000-08-11 2006-11-28 Tellme Networks, Inc. Providing menu and other services for an information processing system using a telephone or other audio interface
US7308408B1 (en) * 2000-07-24 2007-12-11 Microsoft Corporation Providing services for an information processing system using an audio interface
US6990449B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. Method of training a digital voice library to associate syllable speech items with literal text syllables
US6871178B2 (en) * 2000-10-19 2005-03-22 Qwest Communications International, Inc. System and method for converting text-to-voice
US7451087B2 (en) * 2000-10-19 2008-11-11 Qwest Communications International Inc. System and method for converting text-to-voice
US6990450B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. System and method for converting text-to-voice
JP3901475B2 (ja) * 2001-07-02 2007-04-04 株式会社ケンウッド 信号結合装置、信号結合方法及びプログラム
US7546241B2 (en) * 2002-06-05 2009-06-09 Canon Kabushiki Kaisha Speech synthesis method and apparatus, and dictionary generation method and apparatus
GB2392592B (en) * 2002-08-27 2004-07-07 20 20 Speech Ltd Speech synthesis apparatus and method
JP4178319B2 (ja) * 2002-09-13 2008-11-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声処理におけるフェーズ・アライメント
CN1604077B (zh) * 2003-09-29 2012-08-08 纽昂斯通讯公司 对发音波形语料库的改进方法
US7571104B2 (en) * 2005-05-26 2009-08-04 Qnx Software Systems (Wavemakers), Inc. Dynamic real-time cross-fading of voice prompts
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8024193B2 (en) * 2006-10-10 2011-09-20 Apple Inc. Methods and apparatus related to pruning for concatenative text-to-speech synthesis
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN101281744B (zh) 2007-04-04 2011-07-06 纽昂斯通讯公司 语音分析方法和装置以及语音合成方法和装置
US8321222B2 (en) * 2007-08-14 2012-11-27 Nuance Communications, Inc. Synthesis by generation and concatenation of multi-form segments
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8332215B2 (en) * 2008-10-31 2012-12-11 Fortemedia, Inc. Dynamic range control module, speech processing apparatus, and method for amplitude adjustment for a speech signal
US20100131268A1 (en) * 2008-11-26 2010-05-27 Alcatel-Lucent Usa Inc. Voice-estimation interface and communication system
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8559813B2 (en) 2011-03-31 2013-10-15 Alcatel Lucent Passband reflectometer
US8666738B2 (en) 2011-05-24 2014-03-04 Alcatel Lucent Biometric-sensor assembly, such as for acoustic reflectometry of the vocal tract
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
EP2634769B1 (en) * 2012-03-02 2018-11-07 Yamaha Corporation Sound synthesizing apparatus and sound synthesizing method
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN113470641B (zh) 2013-02-07 2023-12-15 苹果公司 数字助理的语音触发器
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US10791216B2 (en) 2013-08-06 2020-09-29 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2553555B1 (fr) * 1983-10-14 1986-04-11 Texas Instruments France Procede de codage de la parole et dispositif pour sa mise en oeuvre
JPS62100027A (ja) * 1985-10-28 1987-05-09 Hitachi Ltd 音声符号化方式
JPS62102294A (ja) 1985-10-30 1987-05-12 株式会社日立製作所 音声符号化方式
JPS62194296A (ja) * 1986-02-21 1987-08-26 株式会社日立製作所 音声符号化方式
JPH0638192B2 (ja) 1986-04-24 1994-05-18 ヤマハ株式会社 楽音発生装置
JPS63127630A (ja) * 1986-11-18 1988-05-31 Hitachi Ltd 音声圧縮処理装置
US4910781A (en) * 1987-06-26 1990-03-20 At&T Bell Laboratories Code excited linear predictive vocoder using virtual searching
US5400434A (en) * 1990-09-04 1995-03-21 Matsushita Electric Industrial Co., Ltd. Voice source for synthetic speech system
JP3175179B2 (ja) * 1991-03-19 2001-06-11 カシオ計算機株式会社 デジタルピッチシフター
JPH06175692A (ja) 1992-12-08 1994-06-24 Meidensha Corp 音声合成装置のデータ接続方法
US5536902A (en) * 1993-04-14 1996-07-16 Yamaha Corporation Method of and apparatus for analyzing and synthesizing a sound by extracting and controlling a sound parameter
JPH07177031A (ja) 1993-12-20 1995-07-14 Fujitsu Ltd 音声符号化制御方式
GB2296846A (en) * 1995-01-07 1996-07-10 Ibm Synthesising speech from text
JP2976860B2 (ja) * 1995-09-13 1999-11-10 松下電器産業株式会社 再生装置
US5729694A (en) * 1996-02-06 1998-03-17 The Regents Of The University Of California Speech coding, reconstruction and recognition using acoustics and electromagnetic waves
SG65729A1 (en) * 1997-01-31 1999-06-22 Yamaha Corp Tone generating device and method using a time stretch/compression control technique
US6041300A (en) * 1997-03-21 2000-03-21 International Business Machines Corporation System and method of using pre-enrolled speech sub-units for efficient speech synthesis
US6119086A (en) * 1998-04-28 2000-09-12 International Business Machines Corporation Speech coding via speech recognition and synthesis based on pre-enrolled phonetic tokens
DE69940747D1 (de) * 1998-11-13 2009-05-28 Lernout & Hauspie Speechprod Sprachsynthese mittels Verknüpfung von Sprachwellenformen
US6266638B1 (en) * 1999-03-30 2001-07-24 At&T Corp Voice quality compensation system for speech synthesis based on unit-selection speech database
US6725190B1 (en) * 1999-11-02 2004-04-20 International Business Machines Corporation Method and system for speech reconstruction from speech recognition features, pitch and voicing with resampled basis functions providing reconstruction of the spectral envelope
US6496801B1 (en) * 1999-11-02 2002-12-17 Matsushita Electric Industrial Co., Ltd. Speech synthesis employing concatenated prosodic and acoustic templates for phrases of multiple words

Also Published As

Publication number Publication date
EP1005017B1 (en) 2003-07-23
EP1347440A2 (en) 2003-09-24
DE69909716D1 (de) 2003-08-28
DE69909716T2 (de) 2004-08-05
EP1347440A3 (en) 2004-11-17
EP1005017A3 (en) 2000-12-20
JP3408477B2 (ja) 2003-05-19
US6144939A (en) 2000-11-07
USRE39336E1 (en) 2006-10-10
JP2000172285A (ja) 2000-06-23
EP1005017A2 (en) 2000-05-31

Similar Documents

Publication Publication Date Title
EP1005017B1 (en) Formant-based speech synthesizer employing demi-syllable concatenation with independent cross fade in the filter parameter and source domains
US12094447B2 (en) Neural text-to-speech synthesis with multi-level text information
US7953600B2 (en) System and method for hybrid speech synthesis
US5400434A (en) Voice source for synthetic speech system
Huang et al. Recent improvements on Microsoft's trainable text-to-speech system-Whistler
Van Santen Prosodic modelling in text-to-speech synthesis
GB2392592A (en) Speech synthesis
JP3587048B2 (ja) 韻律制御方法及び音声合成装置
JPH031200A (ja) 規則型音声合成装置
Indumathi et al. Survey on speech synthesis
Venkatagiri et al. Digital speech synthesis: Tutorial
Rama et al. Thirukkural: a text-to-speech synthesis system
Bunnell Speech synthesis: Toward a “Voice” for all
Ahmed et al. Text-to-speech synthesis using phoneme concatenation
Al-Said et al. An Arabic text-to-speech system based on artificial neural networks
Gerazov et al. A novel quasi-diphone inventory approach to Text-To-Speech synthesis
Christogiannis et al. Construction of the acoustic inventory for a greek text-to-speech concatenative synthesis system
KR0175464B1 (ko) 전화번호안내용 음성데이타 제작방법
Pearson et al. A synthesis method based on concatenation of demisyllables and a residual excited vocal tract model
Romsdorfer et al. A mixed-lingual phonological component which drives the statistical prosody control of a polyglot TTS synthesis system
Chowdhury Concatenative text-to-speech synthesis: A study on standard colloquial Bengali
Hinterleitner Speech synthesis
JPS5880699A (ja) 音声合成方式
Rudzicz Speech Synthesis
JPH06149283A (ja) 音声合成装置