ES2204071T3 - Sintetizador de habla basado en fomantes que utiliza una concatenacion de semisilabas con transicion independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes. - Google Patents
Sintetizador de habla basado en fomantes que utiliza una concatenacion de semisilabas con transicion independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes.Info
- Publication number
- ES2204071T3 ES2204071T3 ES99309293T ES99309293T ES2204071T3 ES 2204071 T3 ES2204071 T3 ES 2204071T3 ES 99309293 T ES99309293 T ES 99309293T ES 99309293 T ES99309293 T ES 99309293T ES 2204071 T3 ES2204071 T3 ES 2204071T3
- Authority
- ES
- Spain
- Prior art keywords
- filter
- semi
- syllable
- syllables
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
- G10L13/07—Concatenation rules
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Electrophonic Musical Instruments (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Abstract
Un sintetizador de habla concatenativo, que comprende: una base de datos (60) que contiene (a) unos datos de formas de onda de semisílabas asociados con una pluralidad de semisílabas, y (b) unos datos de coeficientes de filtro asociados con la mencionada pluralidad de semisílabas; un sistema de selección de unidades (70) que sirve para extraer los datos de formas de onda de semisílabas y los coeficientes de filtro seleccionados de la mencionada base de datos correspondientes a una cadena de entrada destinada a ser sintetizada; un mecanismo de transición por fundido gradual de formas de onda (102) para unir pares de datos de formas de onda de semisílabas extraídos para formar señales de formas de onda de sílabas; caracterizado por un mecanismo de transición por fundido gradual de coeficientes de filtro (106) para definir un conjunto de datos de filtro a nivel de sílaba para realizar una interpolación sigmoidea entre los respectivos coeficientes de filtro extraídos (108) de dos semisílabas; yun módulo de filtro (110, 112, 114, 116) receptor del mencionado conjunto de datos de filtro de nivel de sílaba, con capacidad para procesar las mencionadas señales de formas de onda silábicas para generar el habla sintetizada.
Description
Sintetizador de habla basado en formantes que
utiliza una concatenación de semisílabas con transición
independiente por fundido gradual en los dominios de los
coeficientes de filtro y de fuentes.
La presente invención está relacionada en general
con la síntesis del habla y más en particular con un sintetizador
concatenativo basado en un modelo de fuente-filtro
en el que la señal fuente y los coeficientes de filtro se generan
por mecanismos independientes de transición por fundido gradual.
La síntesis de habla moderna implica muchas
concesiones. Para aplicaciones de vocabulario limitado, suele ser
factible almacenar palabras enteras como muestras digitales para
posteriormente ser concatenadas en frases para su reproducción. Con
un buen algoritmo de prosodia que coloque la acentuación en las
palabras adecuadas, estos sistemas tienden a sonar de una forma
bastante natural, porque las palabras pueden ser reproducciones
exactas del habla humana real. Sin embargo, en el caso de
vocabularios más extensos no resulta posible almacenar muestras de
palabras completas del habla humana real. Por ello, una serie de
especialistas en síntesis del habla han investigado la posibilidad
de partir el habla en unidades más pequeñas y concatenar estas
unidades para formar palabras, frases y, finalmente, oraciones.
Desafortunadamente, al concatenar unidades de
subpalabras, los especialistas deben enfrentarse a varios problemas
de difícil solución. Para reducir las necesidades de memoria de los
sistemas a una cantidad razonable, es necesario desarrollar
unidades de subpalabras versátiles que se puedan usar para formar
muchas palabras diferentes. Sin embargo, a menudo estas unidades de
subpalabras versátiles no se concatenan bien. Durante la
reproducción de unidades de subpalabras, con frecuencia se produce
una perceptible distorsión o interrupción (glitch) en el
punto en que se unen las unidades de subpalabras. Además, como hay
que modificar el tono (pitch) y la duración de las unidades
de subpalabras para adecuarlas al patrón prosódico determinado, con
mucha frecuencia las técnicas que actualmente se emplean para
realizar estas modificaciones incurren en una distorsión.
Finalmente, dado que la mayoría de los segmentos del habla están
fuertemente influenciados por los segmentos vecinos, no hay un
conjunto simple de unidades de concatenación (como fonemas o
difonos) que puedan representar adecuadamente el habla humana.
Algunos especialistas en síntesis del habla han
sugerido diversas soluciones para los problemas de concatenación
anteriores pero, hasta ahora, ninguna de ellas los ha resuelto
satisfactoriamente. El habla humana genera formas de onda complejas
variables en el tiempo para las que las soluciones simples de
procesamiento de señales no son válidas.
EL documento titulado "New algorithm for
spectral smoothing and envelope modification for
LP-PS'OLA synthesis" de Giménez de los Galanes et
al (Actas de ICASSP94, páginas 1-573 - 6, Nueva
York), describe un sintetizador de habla concatenativo que utiliza
una base de datos de formas de onda, una pluralidad de unidades de
concatenación y datos de coeficientes de filtro asociados con la
pluralidad de unidades de concatenación, un sistema de selección de
filtros, un mecanismo de transición por fundido gradual de
coeficientes de filtro y un módulo de filtro receptor de un
conjunto de datos de filtro de nivel de forma de onda compuesta para
generar el habla sintetizada.
El documento titulado "Improving Naturalness in
Text-to-speech Synthesis using
Natural Glottal Source" de Kenji Matsui et al (ICASSP1991, Nueva
York, páginas 769 - 772), describe un mecanismo de transición por
fundido gradual de formas de onda, que utiliza una transición por
fundido gradual lineal en el dominio del tiempo.
Nuestro trabajo nos ha llevado a la convicción de
que solamente será posible encontrar una solución satisfactoria para
los problemas de concatenación conjuntamente con el descubrimiento
de un modelo robusto de síntesis del habla. Además, necesitaremos
un conjunto adecuado de unidades de concatenación y mejores
posibilidades de modificar estas unidades de forma dinámica para
reflejar los segmentos adyacentes.
Por consiguiente, proponemos un sintetizador de
habla concatenativo tal como se establece en la reivindicación
1.
Las realizaciones específicas son las
establecidas en las reivindicaciones dependientes.
Para comprender mejor la invención, sus objetivos
y sus ventajas, hay que referirse a la siguiente descripción y a
los dibujos acompañatorios.
La Figura 1 es un diagrama de bloques que ilustra
el modelo fuente-filtro básico con el que se puede
emplear la invención;
la Figura 2 es un diagrama de la tecnología del
sintetizador de habla que ilustra el espectro de combinaciones
posibles fuente-filtro, destacando en particular el
dominio en el que reside el sintetizador de la presente
invención;
la Figura 3 es un diagrama de flujo que ilustra
el procedimiento utilizado para la construcción de bases de datos de
formas de onda en la presente invención;
las figuras 4A y 4B muestran un diagrama de flujo
que ilustra el proceso de síntesis según la invención.
la Figura 5 es un diagrama de formas de onda que
ilustra la transición por fundido gradual en el dominio del tiempo
de fragmentos de formas de onda fuente;
La Figura 6 es un diagrama de bloques del aparato
actualmente preferido útil para la práctica de la invención;
la Figura 7 es un diagrama de flujo que ilustra
el proceso de acuerdo con la invención.
A pesar de que han sido muchos los modelos de
sintetizadores de habla propuestos en el pasado, la mayoría tienen
en común la siguiente estructura de procesamiento de señal de dos
componentes. Como se muestra en la Figura 1, el habla se puede
modelizar como un componente fuente inicial (10), procesado a través
de un componente posterior de filtro (12).
Dependiendo del modelo, la fuente, el filtro o
ambos, pueden ser muy simples o muy complejos. Por ejemplo, una
forma anterior de síntesis de habla utilizaba formas de onda
altamente complejas a base de MIC (Modulación por impulsos
codificados) como fuente, y un filtro muy simple (ganancia de
unidades). En el sintetizador MIC, todo el conocimiento a priori
estaba incluido en la fuente y nada en el filtro. Sin embargo, otro
método de síntesis utilizaba un simple tren de impulsos repetitivos
como fuente y un filtro complejo, en comparación con el del sistema
anterior, basado en LPC (Codificación lineal predictiva). Hay que
tener en cuenta que ninguna de estas técnicas de síntesis
convencionales intentaron modelizar las estructuras físicas del
tracto vocal humano que son las responsables del habla humana.
La presente invención emplea un modelo de
síntesis basado en formantes que vincula estrechamente los
componentes del sintetizador de fuente y filtro con las estructuras
físicas del tracto vocal humano. Específicamente, el sintetizador de
la presente invención basa el modelo de fuente en una mejor
estimación de la señal fuente producida en la glotis. De manera
similar, el modelo de filtro está basado en las estructuras
resonantes (productoras de formantes) que generalmente se encuentran
por encima de la glotis. Por estas razones, decimos que nuestra
técnica de síntesis está "basada en formantes".
La Figura 2 resume varias combinaciones
fuente-filtro, mostrando en el eje vertical una
medida comparativa de la complejidad del componente de fuente o de
filtro correspondiente. En la Figura 2, los componentes de fuente y
filtro se ilustran como ejes verticales situados a ambos lados de
la gráfica. A lo largo del eje de la fuente, la complejidad
relativa disminuye de arriba abajo, mientras que a lo largo del eje
del filtro, la complejidad relativa aumenta de arriba abajo. Varias
líneas generalmente horizontales o diagonales conectan un punto del
eje de la fuente con un punto del eje del filtro para representar
un tipo particular de sintetizador de habla. Por ejemplo, la línea
horizontal (14) conecta una fuente bastante compleja con un filtro
bastante simple para definir el sintetizador
TD-PSOLA, un ejemplo de un tipo de tecnología de
síntesis bien conocida en la que una forma de onda de fuente MIC se
aplica a un filtro de identidades. De manera similar, la línea
horizontal (16) conecta una fuente relativamente simple con un
filtro relativamente complejo para definir otro tipo conocido de
sintetizador del vocoder de fase, el sintetizador de armónicos. En
esencia, este sintetizador utiliza una forma simple de forma de
onda fuente de tren de impulsos y un filtro complejo diseñado
mediante técnicas de análisis de espectros como las Transformadas
rápidas de Fourier (FFT). El sintetizador LPC clásico está
representado por la línea diagonal (17), que conecta una fuente de
tren de impulsos con un filtro LPC. El sintetizador de Klatt de la
línea (18) está definido por una fuente de coeficientes aplicada a
través de un filtro compuesto por formantes y ceros.
En contraste con la tecnología de síntesis
convencional precedente, la presente invención ocupa una ubicación
en la Figura 2 generalmente ilustrada por la región rayada (20). En
otras palabras, la presente invención puede usar una forma de onda
que va desde una fuente glótica pura hasta una fuente glótica con
efectos nasales. El filtro puede ser un simple banco de filtros de
formantes o un filtro algo más complejo compuesto por formantes y
ceros.
Según nuestro conocimiento, la síntesis
concatenativa de la técnica anterior ha evitado en buena parte la
región (20) de la Figura 2. La región (20) corresponde lo más
aproximadamente posible a la separación natural que se da en el ser
humano entre la fuente de voz glótica y el tracto vocal (filtro).
Creemos que la operación en la región (20) presenta algunas
ventajas inherentes debido a su posición central entre los dos
extremos de la representación en el dominio puro del tiempo (como
TD-PSOLA) y la representación del dominio puro de
la frecuencia (como el vocoder de fase o el sintetizador de
armónicos).
La realización actualmente preferida de nuestro
sintetizador basado en formantes utiliza una técnica que emplea un
filtro y un filtro inverso para extraer la señal fuente y los
coeficientes de formantes del habla humana. Las señales y
coeficientes extraídos se usan después en el modelo
fuente-filtro correspondiente a la región (20) de
la Figura 2. El procedimiento actualmente preferido para extraer los
coeficientes de fuente y de filtro del habla humana se describe más
adelante en esta descripción. La presente descripción se centrará
en otros aspectos del sintetizador basado en formantes, a saber,
aquellos relativos a la selección de unidades concatenativas y a la
transición por fundido gradual.
El sintetizador basado en formantes de la
invención define unidades de concatenación que representan pequeños
pedazos de habla digitalizada que luego se concatenan juntos para
la reproducción a través del módulo de sonido del sintetizador. Las
técnicas de transición por fundido gradual de la invención se pueden
emplear con unidades de concatenación de diversos tamaños. La
sílaba es una unidad natural a este efecto, pero en los casos en
que hay limitaciones de memoria, la elección de la sílaba como
unidad básica de concatenación puede resultar prohibitiva en cuanto
a la capacidad de memoria necesaria. En consecuencia, en la
realización actual se usa la semisílaba como unidad básica de
concatenación. Una parte importante del sintetizador basado en
formantes es la dedicada a realizar la transición por fundido
gradual para unir con suavidad las semisílabas adyacentes de manera
que las sílabas resultantes suenen naturales y sin interrupciones
(glitches) ni distorsión. Como se explicará más adelante con
más detalle, el sistema actual realiza esta transición por fundido
gradual tanto en el dominio del tiempo como en el dominio de la
frecuencia, y en el proceso participan los dos componentes del
modelo fuente-filtro: las formas de onda fuente y
los coeficientes del filtro de formantes.
La realización preferida almacena datos de formas
de onda fuente y datos de coeficientes de filtro en una base de
datos de formas de onda. La base de datos en su forma máxima
almacena formas de onda de habla digitalizada y datos de
coeficientes de filtro para por lo menos un ejemplo de cada
semisílaba que se encuentra en el lenguaje natural (por ejemplo, el
inglés). En una forma conservadora de memoria, la base de datos se
puede recortar para eliminar formas de onda de habla redundantes.
Como las semisílabas adyacentes se pueden afectar significativamente
entre sí, el sistema preferido almacena datos para cada contexto
diferente que encuentra.
La Figura 3 muestra la técnica actualmente
preferida para construir la base de datos de formas de onda. En la
Figura 3 (y también en las siguientes figuras 4A y 4B), los cuadros
con bordes superiores con línea doble representan los principales
encabezamientos de bloques de procesamiento. Los cuadros con línea
simple situados debajo de estos encabezamientos representan los
pasos o módulos individuales que componen el bloque principal
designado por el bloque de encabezamiento.
Con relación a la Figura 3, la base de datos de
formas de onda se construye como se indica en (40) compilando
previamente una lista de semisílabas y secuencias limítrofes como
se ilustra en la fase (42). Esto se lleva a cabo generando todas
las combinaciones posibles de semisílabas (fase (44)) y excluyendo
luego todas las combinaciones no usadas como se indica en (46). La
fase (44) puede ser un proceso repetitivo en el que se generan
todas las permutaciones diferentes de semisílabas iniciales y
finales. Esta exhaustiva lista de todas las combinaciones posibles
se reduce selectivamente a continuación para reducir el tamaño de
la base de datos. Esta reducción se realiza en la fase (46)
consultando un diccionario de palabras (48) que contiene
transcripciones fonéticas de todas las palabras que el sintetizador
va a pronunciar. Estas transcripciones fonéticas se utilizan para
eliminar todas las combinaciones de semisílabas que no se
encuentran en las palabras que el sintetizador va a pronunciar.
La realización preferida también trata los
límites entre las sílabas, como los que hay en los límites de las
palabras o en los límites de las frases. Estas unidades limítrofes
(a menudo grupos de consonantes) se construyen a partir de difonos
muestreados en el contexto correcto. Una de las formas de excluir
combinaciones de unidades limítrofes no usadas es disponer de un
corpus de texto (50) que contenga frases de ejemplo formadas con
las palabras contenidas en el diccionario de palabras (48). Estas
frases se usan para definir diferentes contextos de límites de
palabras, de manera que las combinaciones de unidades limítrofes
que no se encuentran en el corpus de texto se pueden excluir en la
fase (46).
Una vez creada y reducida la lista de semisílabas
y unidades limítrofes, los datos de formas de onda muestreados
asociados con cada semisílaba se graban y etiquetan en la fase
(52). En este proceso se aplican marcadores fonéticos al principio y
al final de la porción relevante de cada semisílaba, tal como se
indica en la fase (54). Esencialmente, las partes relevantes de los
datos de formas de onda muestreados se extraen y se etiquetan
asociando las porciones extraídas con las semisílabas o con las
unidades limítrofes correspondientes de las que se obtuvo la
muestra.
El siguiente paso consiste en extraer los datos
de fuente y de filtro de los datos de formas de onda etiquetados
como se ilustra de manera general en la fase (56). En la fase (56)
se emplea una técnica que más adelante se describe con detalle con
la que el habla humana real se procesa a través de un filtro y de
su filtro inverso utilizando una función de coste que ayuda a
extraer una señal fuente inherente y coeficientes de filtro de cada
uno de los datos de formas de onda etiquetados. A continuación, los
datos extraídos de fuente y de filtro se almacenan en la fase (58)
en la base de datos de formas de onda (60). La base de datos de
formas de onda maximales (60) contiene así datos de (formas de onda)
fuente y datos de coeficientes de filtro de todas las semisílabas y
unidades limítrofes etiquetadas. Una vez creada la base de datos de
formas de onda, el sintetizador ya se puede usar.
Para utilizar el sintetizador, se suministra una
cadena de entrada como se indica en (62) en la Figura 4A. La cadena
de entrada puede ser una cadena de fonemas que represente a una
frase u oración, tal como se indica en forma diagramática en (64).
La cadena de fonemas puede incluir patrones de entonación alineados
(66) e información sobre la duración de las sílabas (68). Los
patrones de entonación y la información de la duración proporcionan
información prosódica que el sintetizador puede usar para alterar
selectivamente el tono (pitch) y la duración de las sílabas
para dar una inflexión de habla humana más natural a la frase u
oración.
La cadena de fonemas se procesa a través de una
serie de fases en las que se extrae información de la base de datos
de formas de onda (60) y se interpreta por medio de mecanismos de
transición por fundido gradual. Primero, se realiza la selección de
unidades tal como indica el bloque de encabezamiento (70). En este
proceso se aplican reglas de contexto como se indica en (72) para
determinar los datos que se deben extraer de la base de datos de
formas de onda (60). Las reglas de contexto, ilustradas diagralmente
en (74), especifican las semisílabas o unidades limítrofes que se
deben extraer de la base de datos en determinadas condiciones. Por
ejemplo, si la cadena de fonemas solicita una semisílaba que está
representada directamente en la base de datos, entonces se
selecciona esta semisílaba. A la hora de realizar selecciones en la
base de datos de formas de onda, las reglas de contexto tienen en
cuenta las semisílabas de las unidades sonoras vecinas. Si la
semisílaba necesaria no está representada directamente en la base de
datos, entonces las reglas de contexto especifican la aproximación
más inmediata a la semisílaba necesaria. Las reglas de contexto
están diseñadas para seleccionar las semisílabas que suenan de la
manera más natural cuando se concatenan. Por ello, las reglas de
contexto están basadas en principios lingüísticos.
A modo de ejemplo: Si la semisílaba necesaria va
precedida por una oclusiva bilabial sonora (por ejemplo, /b/) en la
palabra sintetizada, pero la semisílaba no se encuentra en ese
contexto en la base de datos, las reglas de contexto especificarán
el contexto deseable más próximo. En este caso, las reglas de
contexto pueden elegir un segmento precedido por una bilabial
diferente, tal como la /p/.
A continuación, el sintetizador crea la cadena
acústica de objetos silábicos correspondiente a la cadena de fonemas
que el sistema le ha suministrado como entrada. Este paso se indica
de manera general en (76) y consiste en la construcción de datos
fuente para la cadena de semisílabas como se especificó durante la
selección de unidades. Estos datos fuente corresponden al
componente fuente del modelo fuente-filtro. Los
coeficientes de filtro también se extraen de la base de datos y se
manipulan para crear la cadena acústica. La manera en que se
manipulan los coeficientes de filtro se explica más adelante. La
realización actualmente preferida define la cadena de objetos
silábicos como una lista vinculada de sílabas (78) que, a su vez,
comprende por una lista vinculada de semisílabas (80). Las
semisílabas contienen fragmentos de formas de onda (82) obtenidos en
la base de datos de formas de onda (60).
Una vez compilados los datos fuente, se lleva a
cabo una serie de fases de transformación para realizar la
transición por fundido gradual de los datos fuente en el dominio
del tiempo e independientemente, realizar también la transición por
fundido gradual de los coeficientes de filtro en el dominio de la
frecuencia. Los pasos de transformación aplicados en el dominio del
tiempo se muestran a partir de la fase (84). Las fases de
transformación aplicadas en el dominio de la frecuencia se muestran
a partir de la fase (110) (Figura 4B).
La Figura 5 ilustra la técnica actualmente
preferida para representar una transición por fundido gradual de los
datos fuente en el dominio del tiempo. Con relación a la Figura 5,
una sílaba de duración S está compuesta por una semisílaba inicial
y otra final de duración A y B. Los datos de forma de onda de la
semisílaba A aparecen en (86) y los de la semisílaba B, en (88).
Estos fragmentos de forma de onda se deslizan hasta su posición
(ordenados en el tiempo) de tal manera que las dos semisílabas
encajen en la duración de la sílaba S. Hay que tener presente que
hay una cierta superposición entre las semisílabas A y B.
El mecanismo de transición por fundido gradual de
la realización preferida realiza una transición por fundido gradual
lineal en el dominio del tiempo. Este mecanismo se ilustra en forma
de diagrama en (90), y la función de transición por fundido
gradual lineal se representa en (92). Obsérvese que en el momento =
t_{0} la semisílaba A recibe todo el énfasis mientras que la
semisílaba B recibe cero énfasis. Cuando el tiempo transcurre y se
llega al momento t_{s}, el énfasis de la semisílaba A se reduce
gradualmente mientras que el énfasis de la semisílaba B aumenta
gradualmente. El resultado del proceso es una forma de onda
compuesta o fusionada gradualmente para la sílaba S completa, como
se ilustra en (94).
Refiriéndonos ahora a la Figura 4B, se lleva a
cabo un proceso independiente de transición por fundido gradual de
los datos de coeficientes de filtro asociados a las semisílabas
extraídas. El procedimiento empieza aplicando las reglas de
selección de filtro (98) para obtener los datos de coeficientes de
filtro a partir de la base de datos (60). Si la sílaba necesaria
está representada directamente en un componente de excepción
silábica de la base de datos (60), se usan los datos de filtro
correspondientes a esa sílaba como se indica en la fase (100). Como
alternativa, si el dato de filtro no está representado directamente
como una sílaba completa en la base de datos, entonces se generan
nuevos datos de filtro, como se indica en la fase (102), aplicando
una operación de transición por fundido gradual a los datos de las
dos semisílabas en el dominio de la frecuencia. La operación de
transición por fundido gradual consiste en seleccionar una región de
transición por fundido gradual en la cual los coeficientes de
filtro de las semisílabas sucesivas serán fusionados gradualmente
mediante la aplicación de una función adecuada de transición por
fundido gradual como se indica en (106). La función de transición
por fundido gradual se aplica en el dominio del filtro y es una
función sigmoidea. Tanto si se ha obtenido directamente a partir
del componente de excepción silábica de la base de datos (como se
señala en la fase (100)), como si se ha generado mediante la
operación de transición por fundido gradual, los datos de
coeficientes de filtro se almacenan en (108) para su uso posterior
en el sintetizador del modelo fuente-filtro.
La selección de la región adecuada de transición
por fundido depende de los datos. El objeto de realizar la
transición por fundido gradual en el dominio de la frecuencia es
eliminar las interrupciones (glitches) o resonancias no
deseadas sin degradar diptongos importantes. Para conseguirlo, hay
que identificar regiones de transición por fundido gradual en las
que las trayectorias de las unidades de habla que se van a unir
sean tan similares como sea posible. Por ejemplo, en la construcción
de la palabra inglesa "house", se pueden concatenar las
unidades de filtro disilábicas para /haw/- y -/aws/ con
superposición en la región central /a/.
Una vez que se han compilado los datos fuente y
los datos de filtro y se han transformado como se explica en las
fases anteriores, son transferidos, como se indica en (110), al
banco de datos de formas de onda fuente (112) y al banco de datos de
coeficientes de filtro (114), respectivamente, para ser usados por
el sintetizador del modelo fuente-filtro (116) para
producir habla sintetizada.
La Figura 6 ilustra un sistema conforme a la
invención mediante el cual la forma de onda fuente se puede extraer
a partir de una señal de entrada compleja. En el proceso de
extracción se utiliza un par filtro/filtro inverso.
En la Figura 6, el filtro (110) es definido por
su modelo de filtro (112) y los coeficientes de filtro (114). La
presente invención también emplea un filtro inverso (116) que
corresponde al inverso del filtro (110). El filtro (116) tendría,
por ejemplo, los mismos coeficientes de filtro que el filtro (110),
pero sustituiría los ceros en todas las ubicaciones en las que el
filtro (110) tuviera polos. Así, el filtro (110) y el filtro inverso
116 definen un sistema recíproco en el que el efecto del filtro
inverso (116) es negado o invertido por el efecto del filtro (110).
De esta manera, como se puede ver en los dibujos, una entrada de
forma de onda de habla que primero procese el filtro inverso (116) y
posteriormente el filtro (110), resulta en una salida de formas de
onda que, en teoría, será idéntica a la forma de onda de entrada.
En la práctica, ligeras variaciones en la tolerancia de los filtros
o ligeras diferencias entre los filtros (116) y (110) darán lugar a
una forma de onda de salida que se desvía algo de ser idéntica a la
forma de onda de entrada.
Cuando una forma de onda de habla (u otra forma
de onda compleja) se procesa a través del filtro inverso (116), la
señal residual de salida en el nodo (120) se procesa mediante la
aplicación de una función de coste (122). Por regla general, esta
función de coste analiza la señal residual de acuerdo con una o
varias funciones de proceso de una pluralidad, que se describen
detalladamente más adelante, para producir un coeficiente de coste.
Posteriormente, el coeficiente de coste se usa en las siguientes
fases de procesamiento para ajustar los coeficientes de filtro (114)
en un esfuerzo de minimizar el coeficiente de coste. En la Figura
1, el bloque minimizador de coste (124) representa en forma
diagramática el proceso por el que los coeficientes de filtro se
ajustan selectivamente para conseguir una reducción del coeficiente
de coste. Este proceso se puede llevar a cabo de manera repetitiva,
usando un algoritmo que ajuste incrementalmente los coeficientes de
filtro a la vez que busca el mínimo coste.
Una vez logrado el mínimo coste, la señal
residual resultante en el nodo (120) puede servir para representar
una señal fuente extraída para posteriores síntesis del modelo
fuente-filtro. A continuación, los coeficientes de
filtro (114) que produjeron el coste mínimo se usan como
coeficientes de filtro para definir el filtro (110) para usar en
posteriores síntesis del modelo fuente-filtro.
La Figura 7 ilustra el proceso por el cual se
extrae la señal fuente y se identifican los coeficientes de filtro,
para conseguir un sistema de síntesis según el modelo
fuente-filtro acorde con la invención.
Primero se define un modelo de filtro en la fase
(150). Puede usarse cualquier modelo de filtro adecuado que se
preste a una representación mediante coeficientes. Después, en la
fase (152) se suministra un conjunto inicial de coeficientes. Hay
que tener en cuenta que el conjunto inicial de coeficientes se irá
alterando repetitivamente en los siguientes pasos del proceso para
buscar los coeficientes que correspondan con la función de coste
mínimo. Pueden utilizarse diversas técnicas para evitar una solución
subóptima correspondiente a mínimos locales. Por ejemplo, el
conjunto inicial de coeficientes usados en la fase (152) se puede
seleccionar a partir de un conjunto o una matriz de coeficientes
diseñados para proporcionar varios puntos de partida diferentes con
el fin de evitar los mínimos locales. Por ello, en la Figura 7 se
puede observar que la fase (152) se puede ejecutar varias veces
para los diferentes conjuntos iniciales de coeficientes.
El modelo de filtro definido en (150) y el
conjunto inicial de coeficientes definido en (152) se usan luego,
en la fase (154), para construir un filtro (como se indica en
(156)) y un filtro inverso (como se indica en (158)).
A continuación, la señal de habla se aplica al
filtro inverso en (160) para extraer la señal residual, como se
indica en (164). Como se puede ver en los dibujos, la realización
preferida utiliza una ventana de Hanning centrada en el epoch de
tono (pitch) actual y ajustada de manera que cubra periodos
de dos tonos. Se pueden emplear también otras ventanas. Luego, la
señal residual se procesa en (166) para extraer puntos de datos
para usarlos en el cálculo del la longitud del arco.
La señal residual se puede procesar en un número
de diferentes maneras para extraer los puntos de datos. Como se
ilustra en (168), el procedimiento se puede ramificar en una o
varias clases seleccionadas de rutinas de procesamiento. En (170) se
ilustran algunos ejemplos de estas rutinas. Después, se realiza el
cálculo de la longitud del arco (o de la longitud de forma
cuadrada) en (172). El valor resultante sirve de coeficiente de
coste.
Después de calcular el coeficiente de coste para
el conjunto inicial de coeficientes de filtro, en la fase (174) se
ajustan selectivamente estos coeficientes de filtro y el
procedimiento se repite las veces necesarias como se indica en (176)
hasta que se consigue el coste mínimo.
Una vez conseguido el coste mínimo, la señal
residual extraída correspondiente a ese coste mínimo se usa en la
fase (178) como señal fuente. Los coeficientes de filtro asociados
con el coste mínimo se usan como coeficientes de filtro (fase (180))
en un modelo fuente-filtro.
Para obtener más detalles sobre la extracción de
la señal fuente y los coeficientes de filtro, consulte la patente de
Estados Unidos "Method and Apparatus to Extract
Formant-Based Source-Filter Data for
Coding and Synthesis Employing Cost Function and Inverse
Filtering", Número de publicación:
US-B-6 195 632, del 27/02/2001 por
Steve Pearson y cedida al cesionario de la presente invención.
Si bien la invención se ha descrito en su
realización actualmente preferida, se entenderá que la invención es
susceptible de cierta modificación sin apartarse del ámbito de la
invención establecido en las reivindicaciones adjuntas.
Claims (5)
1. Un sintetizador de habla concatenativo, que
comprende:
una base de datos (60) que contiene (a) unos
datos de formas de onda de semisílabas asociados con una pluralidad
de semisílabas, y (b) unos datos de coeficientes de filtro asociados
con la mencionada pluralidad de semisílabas;
un sistema de selección de unidades (70) que
sirve para extraer los datos de formas de onda de semisílabas y los
coeficientes de filtro seleccionados de la mencionada base de datos
correspondientes a una cadena de entrada destinada a ser
sintetizada;
un mecanismo de transición por fundido gradual de
formas de onda (102) para unir pares de datos de formas de onda de
semisílabas extraídos para formar señales de formas de onda de
sílabas;
caracterizado por
un mecanismo de transición por fundido gradual de
coeficientes de filtro (106) para definir un conjunto de datos de
filtro a nivel de sílaba para realizar una interpolación sigmoidea
entre los respectivos coeficientes de filtro extraídos (108) de dos
semisílabas; y
un módulo de filtro (110, 112, 114, 116) receptor
del mencionado conjunto de datos de filtro de nivel de sílaba, con
capacidad para procesar las mencionadas señales de formas de onda
silábicas para generar el habla sintetizada.
2. El sintetizador de la reivindicación 1 en el
que el mencionado mecanismo de transición por fundido gradual de
formas de onda actúa en el dominio del tiempo.
3. El sintetizador de la reivindicación 1 en el
que el mencionado mecanismo de transición por fundido gradual de
coeficientes de filtro actúa en el dominio de la frecuencia.
4. El sintetizador de la reivindicación 1 en el
que el mencionado mecanismo de transición por fundido gradual de
formas de onda realiza una transición por fundido gradual lineal
sobre dos semisílabas durante un periodo de tiempo predefinido
correspondiente a una sílaba.
5. El sintetizador de la reivindicación 1 en el
que el mencionado mecanismo de transición por fundido gradual de
coeficientes de filtro interpola entre los respectivos coeficientes
de filtro de dos semisílabas previamente extraídos.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US200327 | 1998-11-25 | ||
| US09/200,327 US6144939A (en) | 1998-11-25 | 1998-11-25 | Formant-based speech synthesizer employing demi-syllable concatenation with independent cross fade in the filter parameter and source domains |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2204071T3 true ES2204071T3 (es) | 2004-04-16 |
Family
ID=22741247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES99309293T Expired - Lifetime ES2204071T3 (es) | 1998-11-25 | 1999-11-22 | Sintetizador de habla basado en fomantes que utiliza una concatenacion de semisilabas con transicion independiente por fundido gradual en los dominios de los coeficientes de filtro y de fuentes. |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US6144939A (es) |
| EP (2) | EP1005017B1 (es) |
| JP (1) | JP3408477B2 (es) |
| DE (1) | DE69909716T2 (es) |
| ES (1) | ES2204071T3 (es) |
Families Citing this family (145)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266638B1 (en) * | 1999-03-30 | 2001-07-24 | At&T Corp | Voice quality compensation system for speech synthesis based on unit-selection speech database |
| US7369994B1 (en) * | 1999-04-30 | 2008-05-06 | At&T Corp. | Methods and apparatus for rapid acoustic unit selection from a large speech corpus |
| JP2001034282A (ja) * | 1999-07-21 | 2001-02-09 | Konami Co Ltd | 音声合成方法、音声合成のための辞書構築方法、音声合成装置、並びに音声合成プログラムを記録したコンピュータ読み取り可能な媒体 |
| JP3361291B2 (ja) * | 1999-07-23 | 2003-01-07 | コナミ株式会社 | 音声合成方法、音声合成装置及び音声合成プログラムを記録したコンピュータ読み取り可能な媒体 |
| US6807574B1 (en) | 1999-10-22 | 2004-10-19 | Tellme Networks, Inc. | Method and apparatus for content personalization over a telephone interface |
| US7941481B1 (en) | 1999-10-22 | 2011-05-10 | Tellme Networks, Inc. | Updating an electronic phonebook over electronic communication networks |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| JP3728172B2 (ja) * | 2000-03-31 | 2005-12-21 | キヤノン株式会社 | 音声合成方法および装置 |
| US6963841B2 (en) * | 2000-04-21 | 2005-11-08 | Lessac Technology, Inc. | Speech training method with alternative proper pronunciation database |
| US7280964B2 (en) * | 2000-04-21 | 2007-10-09 | Lessac Technologies, Inc. | Method of recognizing spoken language with recognition of language color |
| US6847931B2 (en) | 2002-01-29 | 2005-01-25 | Lessac Technology, Inc. | Expressive parsing in computerized conversion of text to speech |
| US6865533B2 (en) * | 2000-04-21 | 2005-03-08 | Lessac Technology Inc. | Text to speech |
| US7143039B1 (en) | 2000-08-11 | 2006-11-28 | Tellme Networks, Inc. | Providing menu and other services for an information processing system using a telephone or other audio interface |
| US7308408B1 (en) * | 2000-07-24 | 2007-12-11 | Microsoft Corporation | Providing services for an information processing system using an audio interface |
| US6990449B2 (en) * | 2000-10-19 | 2006-01-24 | Qwest Communications International Inc. | Method of training a digital voice library to associate syllable speech items with literal text syllables |
| US6871178B2 (en) * | 2000-10-19 | 2005-03-22 | Qwest Communications International, Inc. | System and method for converting text-to-voice |
| US7451087B2 (en) * | 2000-10-19 | 2008-11-11 | Qwest Communications International Inc. | System and method for converting text-to-voice |
| US6990450B2 (en) * | 2000-10-19 | 2006-01-24 | Qwest Communications International Inc. | System and method for converting text-to-voice |
| JP3901475B2 (ja) * | 2001-07-02 | 2007-04-04 | 株式会社ケンウッド | 信号結合装置、信号結合方法及びプログラム |
| US7546241B2 (en) * | 2002-06-05 | 2009-06-09 | Canon Kabushiki Kaisha | Speech synthesis method and apparatus, and dictionary generation method and apparatus |
| GB2392592B (en) * | 2002-08-27 | 2004-07-07 | 20 20 Speech Ltd | Speech synthesis apparatus and method |
| JP4178319B2 (ja) * | 2002-09-13 | 2008-11-12 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声処理におけるフェーズ・アライメント |
| CN1604077B (zh) * | 2003-09-29 | 2012-08-08 | 纽昂斯通讯公司 | 对发音波形语料库的改进方法 |
| US7571104B2 (en) * | 2005-05-26 | 2009-08-04 | Qnx Software Systems (Wavemakers), Inc. | Dynamic real-time cross-fading of voice prompts |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8024193B2 (en) * | 2006-10-10 | 2011-09-20 | Apple Inc. | Methods and apparatus related to pruning for concatenative text-to-speech synthesis |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| CN101281744B (zh) | 2007-04-04 | 2011-07-06 | 纽昂斯通讯公司 | 语音分析方法和装置以及语音合成方法和装置 |
| US8321222B2 (en) * | 2007-08-14 | 2012-11-27 | Nuance Communications, Inc. | Synthesis by generation and concatenation of multi-form segments |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8332215B2 (en) * | 2008-10-31 | 2012-12-11 | Fortemedia, Inc. | Dynamic range control module, speech processing apparatus, and method for amplitude adjustment for a speech signal |
| US20100131268A1 (en) * | 2008-11-26 | 2010-05-27 | Alcatel-Lucent Usa Inc. | Voice-estimation interface and communication system |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US8559813B2 (en) | 2011-03-31 | 2013-10-15 | Alcatel Lucent | Passband reflectometer |
| US8666738B2 (en) | 2011-05-24 | 2014-03-04 | Alcatel Lucent | Biometric-sensor assembly, such as for acoustic reflectometry of the vocal tract |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| EP2634769B1 (en) * | 2012-03-02 | 2018-11-07 | Yamaha Corporation | Sound synthesizing apparatus and sound synthesizing method |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| CN113470641B (zh) | 2013-02-07 | 2023-12-15 | 苹果公司 | 数字助理的语音触发器 |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| KR101759009B1 (ko) | 2013-03-15 | 2017-07-17 | 애플 인크. | 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것 |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| KR101922663B1 (ko) | 2013-06-09 | 2018-11-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| KR101809808B1 (ko) | 2013-06-13 | 2017-12-15 | 애플 인크. | 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법 |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2553555B1 (fr) * | 1983-10-14 | 1986-04-11 | Texas Instruments France | Procede de codage de la parole et dispositif pour sa mise en oeuvre |
| JPS62100027A (ja) * | 1985-10-28 | 1987-05-09 | Hitachi Ltd | 音声符号化方式 |
| JPS62102294A (ja) | 1985-10-30 | 1987-05-12 | 株式会社日立製作所 | 音声符号化方式 |
| JPS62194296A (ja) * | 1986-02-21 | 1987-08-26 | 株式会社日立製作所 | 音声符号化方式 |
| JPH0638192B2 (ja) | 1986-04-24 | 1994-05-18 | ヤマハ株式会社 | 楽音発生装置 |
| JPS63127630A (ja) * | 1986-11-18 | 1988-05-31 | Hitachi Ltd | 音声圧縮処理装置 |
| US4910781A (en) * | 1987-06-26 | 1990-03-20 | At&T Bell Laboratories | Code excited linear predictive vocoder using virtual searching |
| US5400434A (en) * | 1990-09-04 | 1995-03-21 | Matsushita Electric Industrial Co., Ltd. | Voice source for synthetic speech system |
| JP3175179B2 (ja) * | 1991-03-19 | 2001-06-11 | カシオ計算機株式会社 | デジタルピッチシフター |
| JPH06175692A (ja) | 1992-12-08 | 1994-06-24 | Meidensha Corp | 音声合成装置のデータ接続方法 |
| US5536902A (en) * | 1993-04-14 | 1996-07-16 | Yamaha Corporation | Method of and apparatus for analyzing and synthesizing a sound by extracting and controlling a sound parameter |
| JPH07177031A (ja) | 1993-12-20 | 1995-07-14 | Fujitsu Ltd | 音声符号化制御方式 |
| GB2296846A (en) * | 1995-01-07 | 1996-07-10 | Ibm | Synthesising speech from text |
| JP2976860B2 (ja) * | 1995-09-13 | 1999-11-10 | 松下電器産業株式会社 | 再生装置 |
| US5729694A (en) * | 1996-02-06 | 1998-03-17 | The Regents Of The University Of California | Speech coding, reconstruction and recognition using acoustics and electromagnetic waves |
| SG65729A1 (en) * | 1997-01-31 | 1999-06-22 | Yamaha Corp | Tone generating device and method using a time stretch/compression control technique |
| US6041300A (en) * | 1997-03-21 | 2000-03-21 | International Business Machines Corporation | System and method of using pre-enrolled speech sub-units for efficient speech synthesis |
| US6119086A (en) * | 1998-04-28 | 2000-09-12 | International Business Machines Corporation | Speech coding via speech recognition and synthesis based on pre-enrolled phonetic tokens |
| DE69940747D1 (de) * | 1998-11-13 | 2009-05-28 | Lernout & Hauspie Speechprod | Sprachsynthese mittels Verknüpfung von Sprachwellenformen |
| US6266638B1 (en) * | 1999-03-30 | 2001-07-24 | At&T Corp | Voice quality compensation system for speech synthesis based on unit-selection speech database |
| US6725190B1 (en) * | 1999-11-02 | 2004-04-20 | International Business Machines Corporation | Method and system for speech reconstruction from speech recognition features, pitch and voicing with resampled basis functions providing reconstruction of the spectral envelope |
| US6496801B1 (en) * | 1999-11-02 | 2002-12-17 | Matsushita Electric Industrial Co., Ltd. | Speech synthesis employing concatenated prosodic and acoustic templates for phrases of multiple words |
-
1998
- 1998-11-25 US US09/200,327 patent/US6144939A/en not_active Ceased
-
1999
- 1999-11-22 EP EP99309293A patent/EP1005017B1/en not_active Expired - Lifetime
- 1999-11-22 DE DE69909716T patent/DE69909716T2/de not_active Expired - Fee Related
- 1999-11-22 ES ES99309293T patent/ES2204071T3/es not_active Expired - Lifetime
- 1999-11-22 EP EP03008984A patent/EP1347440A3/en not_active Withdrawn
- 1999-11-24 JP JP33263399A patent/JP3408477B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-05 US US10/288,029 patent/USRE39336E1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1005017B1 (en) | 2003-07-23 |
| EP1347440A2 (en) | 2003-09-24 |
| DE69909716D1 (de) | 2003-08-28 |
| DE69909716T2 (de) | 2004-08-05 |
| EP1347440A3 (en) | 2004-11-17 |
| EP1005017A3 (en) | 2000-12-20 |
| JP3408477B2 (ja) | 2003-05-19 |
| US6144939A (en) | 2000-11-07 |
| USRE39336E1 (en) | 2006-10-10 |
| JP2000172285A (ja) | 2000-06-23 |
| EP1005017A2 (en) | 2000-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1005017B1 (en) | Formant-based speech synthesizer employing demi-syllable concatenation with independent cross fade in the filter parameter and source domains | |
| US12094447B2 (en) | Neural text-to-speech synthesis with multi-level text information | |
| US7953600B2 (en) | System and method for hybrid speech synthesis | |
| US5400434A (en) | Voice source for synthetic speech system | |
| Huang et al. | Recent improvements on Microsoft's trainable text-to-speech system-Whistler | |
| Van Santen | Prosodic modelling in text-to-speech synthesis | |
| GB2392592A (en) | Speech synthesis | |
| JP3587048B2 (ja) | 韻律制御方法及び音声合成装置 | |
| JPH031200A (ja) | 規則型音声合成装置 | |
| Indumathi et al. | Survey on speech synthesis | |
| Venkatagiri et al. | Digital speech synthesis: Tutorial | |
| Rama et al. | Thirukkural: a text-to-speech synthesis system | |
| Bunnell | Speech synthesis: Toward a “Voice” for all | |
| Ahmed et al. | Text-to-speech synthesis using phoneme concatenation | |
| Al-Said et al. | An Arabic text-to-speech system based on artificial neural networks | |
| Gerazov et al. | A novel quasi-diphone inventory approach to Text-To-Speech synthesis | |
| Christogiannis et al. | Construction of the acoustic inventory for a greek text-to-speech concatenative synthesis system | |
| KR0175464B1 (ko) | 전화번호안내용 음성데이타 제작방법 | |
| Pearson et al. | A synthesis method based on concatenation of demisyllables and a residual excited vocal tract model | |
| Romsdorfer et al. | A mixed-lingual phonological component which drives the statistical prosody control of a polyglot TTS synthesis system | |
| Chowdhury | Concatenative text-to-speech synthesis: A study on standard colloquial Bengali | |
| Hinterleitner | Speech synthesis | |
| JPS5880699A (ja) | 音声合成方式 | |
| Rudzicz | Speech Synthesis | |
| JPH06149283A (ja) | 音声合成装置 |