PROCEDE DE RECONNAISSANCE ET EN PARTICULIER D'ECRITURE
DE LA PAROLE
Objet de l'invention
La présente invention vise à réaliser un procédé qui permet la reconnaissance de la parole et en particulier l'écriture de .la parole utilisant un alphabet phonétique naturel. Elle concerne également les moyens et dispositifs permettant la mise en oeuvre de ce procédé.
Applications de l'invention
Les applications de la reconnaissance de la parole sont de deux types : le dialogue oral homme-machine et l'aide aux malentendants.
Le présent mémoire descriptif qui est basé sur des expériences réelles d'écriture de la parole destinée à des malentendants décrira essentiellement à titre d'illustration cet aspect particulier. Il est bien entendu cependant qu'il n'y est pas limité.
Résumé de Fêtât de la technique
<EMI ID=1.1>
n'est à même d'égaler l'homme dans la reconnaissance vocale.
A titre d'exemple de ce.que l'on peut faire aujourd'hui dans le domaine du dialogue homme-machine, on citera des applications développées dans le cadre de ARPA Speech Understanding System (applications militaires USA). Ces techniques permettent un dialogue sommaire, basé sur un vocabulaire limité
(1000 mots) et sur une syntaxe simple et immuable.
Malgré les développements récents de l'informatique et de l'électronique, en particulier en ce qui concerne le traitement du signal et l'intelligence artificielle, ces systèmes restent d'un coût prohibitif et on est encore fort loin d'un modèle de reconnaissance de la parole aussi performant que l'être humain.
Pour ce qui concerne l'aide aux malentendants, essentiellement deux moyens sont envisagés - outre l'implantation de prothèses chirurgicales - pour aider les personnes sourdes.
Le premier s'appuie sur l'exploitation du sens tactile et se concrétise par exemple par l'élaboration d'un bracelet vibreur qui donne des informations sommaires telles que sonnerie de portes, appel sur téléphone graphique (Minitel), ...
Le deuxième moyen plus développé, vise à supplanter le canal auditif devenu inactif par le canal visuel. Il regroupe ainsi toutes les techniques destinées à la transposition du son en images comme la lecture sur les lèvres, le langage gestuel, le téléphone graphique (ou Minitel), les systèmes d'éducation à la parole, ...
La lecture sur les lèvres est une première façon dynamique de comprendre le message oral mais présente malgré tout des ambiguïtés gênantes. En effet, il existe dans la parole beaucoup
<EMI ID=2.1>
peuvent pas être distingués par la simple forme des lèvres.
Une solution proposée par le docteur Carnet (Gallaudat Collège, Washington 1967) pour lever ces indéterminations fut d'ajouter un code phonétique complémentaire mis en évidence par la forme et la position de la main du locuteur autour du visage. L'inconvénient de cette méthode appelée "cued speech" est que l'apprentissage du code tant par le locuteur que par le lecteur est nécessaire pour une compréhension mutuelle. Un autre inconvénient de la lecture sur les lèvres est qu'il faut voir le locuteur de face.
Le langage gestuel et le téléphone graphique possèdent eux aussi ces inconvénients majeurs ; les deux personnes en dialogue doivent connaître le code de communication gestuel ou doivent être équipées toutes deux de l'appareillage ad-hoc dans le cas du Minitel.
Ces techniques de reconnaissance pour sourds - mise à part la lecture labiale qui reste toutefois fort hasardeuse - ont tendance à marginaliser leur groupe restreint d'utilisateurs
(malentendants, famille, enseignants) vis-à-vis de personnes qui ne se sentent pas concernées d'une manière ou d'une autre par le problème des handicapés de l'ouïe et qui de ce fait ne feront aucun effort pour appréhender ces techniques.
Il n'existe pas véritablement à l'heure actuelle de traducteur efficace du son susceptible de délivrer au sourd une autonomie d'utilisation indispensable à son intégration dans le monde des malentendants.
Le premier essai du genre fut entamé par les laboratoires Bell pendant la deuxième guerre mondiale et se solda par la mise au point d'un appareil baptisé "sonagraphe" ("visible speech") qui transposait pour la première fois la parole en images appelées "sonagrammes".
Les sonagrammmes sont des diagrammes à deux dimensions où l'abscisse est le temps et l'ordonnée représente les fréquences ; l'énergie sonore aux différentes fréquences étant matérialisée par une intensité de noirceur.
Depuis 40 ans, des expériences se multiplient un peu partout dans le monde pour tester les qualités de cette représentation mais le bilan s'avère en définitive plutôt décevant.
Il semble que la meilleure performance de lecture des sonagrammes appartient à Victor Zue, expert en reconnaissance de la parole au MIT (Boston). Celui-ci après une durée d'apprentissage de plus ou moins 2500 heures (quelques heures par jour pendant
<EMI ID=3.1>
émis par un grand nombre de personnes et ce, en un temps 20 fois plus grand que le temps réel de production du message verbal.
Les mauvaises performances de lecture de sonagrammes résultent en grande partie d'une qualité médiocre voire inadaptée de la représentation utilisée ; l'emploi d'une intensité de gris approximant la quantité d'énergie en fréquence donne une image grossière de la réalité sonore et court-ci rcui te ainsi une partie importante de l'information phonétique. L'absence d'arrêt de l'évolution de l'image est la cause principale de la difficulté de lecture ; de plus, la redondance d'information ne permet pas de se concentrer sur la partie importante de la représentation visuelle. But de l'invention
L'invention vise à fournir une représentation visuelle de la parole qui est de nature à surpasser largement le sonagramme tant par la plus grande richesse de l'information phonétique qu'elle présente que par l'aisance relative au niveau de son apprentissage. Eléments caractéristiques de l'invention
L'invention repose sur un procédé de reconnaissance de la parole et en particulier d'écriture de la parole comportant une analyse fréquentielle des phonèmes émis par un locuteur, caractérisé en ce que les phonèmes subissent un traitement d'analyse fréquentielle spécifique qui pour chaque phonème exprimé génère une image statique, apparaissant immobile (figée) pendant un temps suffisant pour permettre sa reconnaissance. De manière avantageuse, l'image statique représentant le phonème que nous appelerons le caractère-image doit apparaître sur l'écran d'une façon qui paraisse instantanée et non progressive et rester immobile pendant le temps d'identification du phonème.
On s'est aperçu qu'un utilisateur peut après un délai d'apprentissage raisonnable reconnaître les différentes images statiques ainsi associées à chaque phonème.
Selon une forme d'exécution préférée de la technique précitée, il est avantageux de prévoir un affichage simultané de plusieurs phonèmes successifs, ce qui permet à l'utilisateur de mieux reconnaître ceux-ci par association avec le ou les phonèmes exprimés antérieurement à celui qui est lu et éventuellement le ou les phonèmes exprimés déjà après celui en cours de lecture.
Comme dans l'écriture classique, un nombre suffisant de phonèmes seront dans une application avantageuse de la technique visibles simultanément pour permettre la mémoire des éléments verbaux précédents. Nous entendons par éléments verbal., un phonème ou un groupe successif de phonèmes. Dans le cas ou le mot est décomposé en éléments verbaux, le terme caractère-image se rapporte à l'image représentant l'élément verbal. Il est en effet souhaitable qu'au moins les caractères-images correspondant aux éléments verbaux d'un mot, apparaissent au moment de l'interprétation du mot simultanément sur l'écran. En fait, il en va de même qu'avec l'écriture classique. Il suffit de songer aux conditions limites de lisibilité des sous-titres à la télévision et au cinéma.
Il est souhaitable que les caractères-images soient immobiles pendant leur apparition sur l'écran. Quant il s'agit d'écriture, le mot
<EMI ID=4.1>
l'écriture phonétique et est une abréviation du mot "caractèreimage".
Contrairement aux techniques connues, le caractère statique de l'image associée à chaque phonème permet d'éviter la redondance de l'information, notamment pour les voyelles longues. La technique proposée aboutit à l'élaboration d'un alphabet naturel. A chaque élément verbal, phénomène essentiellement dynamique, est associée l'image statique (figée) qu'il génère grâce à un algorithme particulier. Cet alphabet peut éventuellement être réversible, c'està-dire que les images peuvent à leur tour donner naissance aux types d'éléments verbaux qui les ont générés.
On crée ainsi un alphabet "naturel" ou "phgsique" dans le sens d'une part ou un élément verbal de par ce qu'il est, donne naissance à une image (le caractère-image) qui fait partie d'une famille d'images que l'on associe par éducation au type d'élément verbal en question et d'autre part que le caractèreimage correspondant à un élément verbal peut générer par ce qu'il est, le type d'élément verbal en question.
Il s'agit d'un alphabet et la technique de reconnaissance de la parole par transposition en images est en fait une écriture à l'aide des images qui constituent les caractères. On conçoit donc que les caractères-images seront utilement groupés ensemble en suite successive dans un mot et que l'on séparera utilement par un espacement les caractères-images relatifs à des mots différents. Il s'agit des mots résultant de la parole et non des mots de l'écriture classique. Les mots de l'écriture phonétique la plupart du temps ne coïncide pas avec les mots de. l'écriture classique. Souvent, le mot de l'écriture phonétique contient plusieurs mots de l'écriture classique. On entend par "mot" le mot de l'écriture phonétique à moins qu'il ne soit précisé qu'il s'agit du mot de l'écriture classique.
On utilisera utilement et avantageusement une ponctuation particulière pour distinguer les espacements entre les mots, les espacements à virgule, point-virgule et point. L'évolution des caractéristiques adéquates du signal acoustique pendant la parole renseignera sur le caractère normal, interrogatif ou exclamatif d'une phrase, ce qui amènera naturellement à utiliser l'équivalent des points, points d'interrogation et points d'exclamation.
Une variante avantageuse de la technique comporte de plus l'affichage de la longueur de l'émission du phonème, de l'évolution dans le temps de son amplitude, de la régularité de l'émission acoustique du phonème dans le mot et dans la phrase et éventuellement des informations sur la fondamentale et les harmoniques.
Il est apparu que des résultats particulièrement intéressants sont obtenus par une technique comportant une opération d'analyse spécifique des phonèmes selon qu'ils appartiennent à un premier groupe constitué par les phonèmes autres que les consonnes fricatives ou les consonnes plosives, à un deuxième groupe constitué par les consonnes fricatives et un troisième groupe constitué par les consonnes plosives.
Il est apparu que chacun de ces groupes doit subir une analyse fréquentielle qui lui est propre, à savoir :
- une analyse fréquentielle du premier groupe au moins jusqu'à une valeur de l'ordre de 4 à 5 kHz sur une durée de l'ordre d'au moins une quasi période,
- une analyse fréquentielle du deuxième groupe au moins jusqu'à une valeur de l'ordre de 12 kHz pendant une durée supérieure à 2 millisecondes et ne dépassant pas la durée des phonèmes,
- une analyse fréquentielle du troisième groupe au moins jusqu'à une valeur de l'ordre de 5 à 10 kHz pendant une durée suffisante pour tenir compte de révolution temporelle des caractéristiques fréquentielles.
L'analyse fréquenti el l e pour les deux premiers groupes peut n'exploiter qu'une partie de l'information acoustique émise pendant la production du phonème car cette information est redondante. L'analyse fréquentielle pour le troisième groupe exploite toute ou quasi toute l'information acoustique émise pendant la production de la plosive ou à tout le moins une partie notable de cette information.
Avantageusement des signaux analogiques captés par un micro subissent une digitalisation et sont soumis à l'aide d'un algorithme à une analyse fréquent! elle propre au groupe afin d'obtenir une écriture de la parole basée sur l'analyse fréquentielle de celle-ci qui fournit un alphabet phonétique naturel.
Afin de faciliter la lecture de la dite écriture selon un alphabet phonétique naturel, l'invention comporte le fait que l'écriture correspondant à chacun des groupes précités subit une représentation particulière pour chaque groupe, notamment une représentation de couleur différente pour le groupe 1 de la couleur retenue pour la représentation du groupe 2 tandis que les phonèmes du groupe 3 qui subissent une représentation du type sonagramme ou équivalente en ce sens que l'on exploite avantageusement l'information acoustique présente dans quasi toute la durée du phonème, se représente avantageusement dans une autre couleur que les groupes 1 et 2.
On peut également discriminer les groupes en adaptant des conventions autres que les couleurs, par exemple des formes géométriques différentes pour chaque groupe. A titre d'exemple des "caractères-images" de dimensions ou de formes différentes peuvent être utilisées.
Une façon avantageuse de présenter l'information de manière compacte est d'utiliser une représentation polaire des transformées fréquentielle ou équivalente.
On entend par traitement d'analyse fréquentielle ou analyse fréquentielle, un traitement mathématique de tout ou d'une partie du signal temporel lié au phonème, où le temps n'apparaît plus dans la résultante obtenue par la transformation et qui permet de mettre en évidence une information caractéristique spécifique à chaque phonème, qui sera utilisée pour reconnaître le phonème.
On entend par quasi-période, la période apparente du signal temporel quasi-périodique relatif aux phonèmes de la classe
1. La quasi-période est mesurée par le temps que dure le plus petit motif du signal temporel qui génère quasiment le signal temporel par juxtaposition successive. Le concept de quasi-période est illustré sur la figure 1.
D'autres détails et caractéristiques de l'invention apparaîtront à la lecture du mémoire descriptif qui suit, relatif à une forme d'exécution préférée de l'invention.
Mode d'exécution préféré de l'invention
La démarche suivie au cours de l'étude qui a conduit à la présente demande de brevet est essentiellement expérimentale.
Le critère utilisé pour apprécier les diverses représentations étudiées a été le pourcentage d'identification correcte des phonèmes par la personne qui lit l'écriture de la parole. Ce critère est sévère puisqu'il n'est généralement pas nécessaire d'identifier correctement la totalité des phonèmes pour comprendre le message. En effet, la significaton, la cohérence et la structure syntaxique même du langage oral sont souvent déterminantes pour la bonne compréhension du message.
Le contenu phonétique du message est la seule information extérieure disponible à l'auditeur et c'est aussi la seule qui fait défaut au malentendant. C'est pourquoi un système d'aide visuelle ne doit pas "comprendre" le message mais simplement en assurer une représentation phonétique suffisante.
La représentation choisie est basée sur la notion de phonèmes et. d'alphabet phonétique. En effet, l'information phonétique, si elle varie continuellement au cours du temps, est la plupart du temps redondante localement de telle sorte que l'on peut décomposer le message oral en une succession de phonèmes et de parties de phonèmes. L'émission acoustique d'une partie d'un
<EMI ID=5.1>
le phonème.
La recherche s'est donc articulée autour de la représentation des différents phonèmes.
Ainsi, si chaque phonème peut être représenté adéquatement, l'ensemble de ces représentations constitue alors un alphabet phonétique permettant, à l'instar de l'écriture de décrire le langage oral phonème par phonème.
L'invention repose donc essentiellement sur une
<EMI ID=6.1>
sur une représentation symbolique de façon à garder la richesse et le caractère général de l'information naturelle que recèlent diverses nuances phonétiques (âge, sexe, prononciation, émotions, fatigue,...) absentes dans une écriture où chaque phonème possède son symbole conventionnel stéréotypé (caractère-imprimé).
La classification des sons de la langue française adoptée au cours de l'étude est fondamentalement liée aux modes de production des phonèmes. Cette classification regroupe en trois groupes l'ensemble des 36 phonèmes de la langue française. Le groupe 3 contient les plosives, le groupe 2 les fricatives et le groupe 1 le reste des phonèmes soit les voyelles orales et nasales,
<EMI ID=7.1>
Cette classification rassemble les phonèmes dont les caractéristiques fréquentielles et/ou temporelles sont semblables. Elle est donc plus proche du but visé par l'invention que la classification linguistique.
Dans chacun des groupes, certains phonèmes peuvent être regroupés de la façon suivante :
<EMI ID=8.1>
e, ê, eu notés e (ex. : le, peur, mieux) ;
in, un notés ain (ex. : brin, brun) ;
i, notés i (ex. : lit, gîte).
<EMI ID=9.1>
peuvent être du point de vue du contenu acoustique (celui qui nous intéresse) décomposés en plusieurs phonèmes :
<EMI ID=10.1>
Le groupe 1 voit donc son effectif réduit de 24 phonèmes
<EMI ID=11.1>
mesure où les sons regroupés ou décomposés sont phonétiquement semblables à leur substitut. Ainsi, l'analyse du contenu phonétique du mot "champignon" par exemple montre que le phonème "gn" se décompose en deux parties, une quasi-identique au "n" et l'autre au
<EMI ID=12.1>
entités phonétiques de base dont le tableau suivant reprend les caractéristiques.
<EMI ID=13.1>
Il est important de préciser que les approximations cidessus (regroupements et décompositions) ont été introduites par souci de facilité. Elles ne constituent pas nécessairement une condition essentielle pour la mise en oeuvre de l'invention. D'autres variantes d'exécution en fonction des langues en cause notamment sont possibles.
Ainsi qu'il a été indiqué, le principe sur lequel repose l'invention consiste en ce qu'une analyse fréquentielle spécifique
<EMI ID=14.1>
Ainsi pour le groupe 1, il n'est pas nécessaire d'étudier le spectre au-delà de 5 kHz puisque l'énergie s'y trouve concentrée avant. Pour le groupe 2, une analyse fréquentielle est nécessaire jusqu'à 12 kHz. Pour ces deux classes où les sons peuvent être prolongés, l'évolution temporelle des paramètres fréquentiels est pratiquement nulle et si on calcule par exemple les spectres en amplitude d'un phonème dont la durée est prolongée pendant une seconde, on constate que l'analyse fréquentielle d'une portion de 20 ms, 50 ms, 500 ms ou de la totalité du phonème donne des résultats identiques ou similaires. L'information est redondante dans le temps et une analyse fréquentielle effectuée sur une petite fenêtre prise n'importe où en dehors des zones où l'effet de voisinage est trop important, suffit pour caractériser ces sons.
En ce qui concerne les plosives (groupe 3) par contre, l'information temporelle est très importante et on comprend que l'information présentée par le caractère image doit donc tenir compte de l'évolution temporelle du contenu fréquentiel. L'information n'est pratiquement pas redondante dans le cas des plosives. Il est donc avantageux d'exploiter tout ou une partie notable du signal pour l'identification de la plosive. L'information présentée sera la même ou de même nature ou équivalente à l'information présentée par un sonagramme en particulier dans le sens ou elle exploite une partie notable du signal temporel.
La nature "hétéroclite" de cet alphabet phonétique naturel est justifiée par l'existence de trois groupes de sons qui lui donnent naissance.
Le principe étant admis, on peut utiliser avantageusement un "alphabet"' dans lequel les sons du groupe 1 sont représentés par la courbe enveloppe du spectre d'énergie jusque 5 kHz en couleur par exemple rouge, ceux du groupe 2 en couleur verte et les derniers par une présentation avantageusement en couleur différente des groupes 1 et 2, du type sonagramme ou d'un autre type de représentation par caractère-image contenant une information de même type que dans la représentation sonagramme. On peut bien entendu procéder à une discrimination selon d'autres critères que la couleur, en particulier des critères géométriques des caractères-images.
L'analyse fréquentielle de la quasi-totalité du signal temporel de la plosive ou du moins d'une partie notable de ce signal ou même de la totalité du signal temporel de la plosive plus une partie du signal temporel du phonème précédent et/ou suivant peut être avantageusement considérée comme un tel caractère-image.
Un traitement préalable nécessaire doit remplir deux fonctions : d'une part, découper la parole en phonèmes et d'autre part, décider à quel groupe (1, 2 ou 3) appartiennent ces phonèmes.
La première fonction, la segmentation est présente dans tout système de reconnaissance analytique ; elle ne présente en général aucune difficulté. A titre d'exemple, un segmenteur utilisant des informations simples comme le nombre de passages à
<EMI ID=15.1>
La seconde étape ne pose pas de problèmes puisque les caractéristiques fréquentielles et/ou temporelles sont différentes d'une classe à l'autre.
EXEMPLES D'APPLICATION DE L'INVENTION
La figure 2 représente l'évolution temporelle de la pression en fonction du temps (3 secondes) pour la phrase "Alain est mon ami".
Cette phrase est constituée de 10 phonèmes que l'on aperçoit très distinctement dans le signal temporel de la figure 2, ceux-ci étant mis en évidence par les fenêtres en noir.
Dans ce premier exemple ayant choisi comme caractèreimage pour représenter le phonème, la courbe de la prédiction linéaire (enveloppe de la transformée de Fourier) représentée avec comme abscisse une échelle linéaire des fréquences allant de 0 à 5 kHz et une échelle logarithmique des ordonnées (décibels), on a représenté l'écriture de la phrase-exemple sur la figure 3.
On voit que chaque phonème est représenté par un caractère-image
et un seul. Le caractère-image est présenté immobile précédé et/ou suivi par un certain nombre d'autres caractères-images. On découvre d'une manière qui paraît instantanée la totalité des caractèresimages présentés.
Un lecteur ayant subi un apprentissage peut lire chacun des phonèmes représenté par les caractères-image de la figure 3. Les fenêtres identifiées par les chiffres de 1 à 10 sur la figure 2 correspondent à des zooms de 200 ms qui sont repris successivement dans les figures 4, 6 à 14.
Elles permettent d'illustrer le caractère redondant de l'information dans le signal temporel et illustre la façon avec laquelle les caractères-images représentant les phonèmes ont été choisis.
La figure 4 présente en haut le premier zoom du signal temporel qui correspond au premier phonème "A" de la phrase et décrit endessous l'évolution de son spectre caractéristique en amplitude calculé sur des fenêtres de 20 ms désignées par les lettres minuscules a jusque f. Une première constation s'impose ; l'allure du spectre est suffisamment stable sur l'ensemble des 6 fenêtres de calcul et reste conforme au modèle du phonème isolé A tel qu'on peut le voir sur la figure 5 qui représente les caractères-images correspondants à des phonèmes du groupe 1 émis de façon isolée par le même locuteur que celui de la phrase concernée.
Le signal temporel de la figure 6 contient l'entièreté du son "L" - mis en évidence par les spectres relatifs aux fenêtres a-b-
c et la transition "L" - "AIN" caractérisée par les fenêtres d-e-f.
On remarque en effet dans ces dernières, l'apparition de l'allure générale du "AIN" qui reste toutefois influencée par le relèvement significatif du "L" à 1,5 kHz. Il s'agit d'un effet de voisinage.
La figure 7 quant à elle montre par ses fenêtres a-b-c-de un modèle du "AIN" plus typique.
La fenêtre a de la figure 8 clôture le mont ALAIN et la fenêtre b représente le début du phonème "è".
A la figure 9, on reconnaît aux fenêtres a-b-c-d le son "è" et on devine aux fenêtres e-f l'apparition timide du "M".
<EMI ID=16.1>
beaucoup plus révélatrices quant à la présence du "M" de même que le sont les courbes e et f pour le "ON".
La figure 10 montre aux fenêtres b-c-d-e-f des exemples de spectres du son "N". La figure 11 est relative au phonème "A". La figure 12 est relative au phonème "M". <EMI ID=17.1>
Par éducation, il est possible de s'éduquer à lire les caractères images tels ceux représentés à la figure 3. Des essais ont montré que les phonèmes isolés du groupe prononcés par un locuteur auquel on s'est habitué (c'est-à-dire que l'on's'est entraîné à reconnaître les caractères-images correspondant aux phonèmes isolés du groupe 1 émis par ce locuteur) sont reconnus dans une proportion de 99 %. Quant aux phonèmes coarticulés dans le langage, ils sont identifiés dans une proportion de 96 % ; le sens du mot et de la phrase permet de lever ultérieurement l'ambiguïté résiduelle comme dans la lecture d'une écriture manuscrite. On parle de phonème coarticulé lorsque le phonème n'est pas produit isolé mais dans un mot du langage parlé.
Les figures 15, 16, 17, 18, 19, 20, 21, 22 reprennent la même démarche pour le mot "sosie", phonétiquement sozie.
La figure 17 représente pour un même locuteur les caractères-images correspondant au groupe 2 de phonèmes, les fricatives. Pour les caractères-images correspondant aux fricatives, l'échelle des fréquences a été choisie s'étendant de 0 <EMI ID=18.1>
REVENDICATIONS
1. Procédé de reconnaissance de la parole et en particulier d'écriture de la parole comportant une analyse fréquentielle des phonèmes émis par un locuteur, caractérisé en ce que les phonèmes subissent un traitement d'analyse fréquentielle spécifique qui génère une image statique pour chaque phonème présentée immobile pendant un temps suffisant pour permettre la reconnaissance du phonème concerné.