CH689883A5 - Anordnung und Verfahren zur Sprachsynthese. - Google Patents

Description

  
 



  Die vorliegende Erfindung betrifft eine Anordnung und ein Verfahren zur Sprachsynthese. Bei der Sprachsynthese werden Wörter wiedergegeben, welche in eine Anzahl charakteristischer Laute zerlegt werden, die Phoneme genannt werden. Zum Identifizieren gesprochener Sequenzen ist es wesentlich, dass diese Phoneme richtig wiedergegeben werden. Die Phoneme werden auch zum Erzeugen gesprochener Sequenzen auf künstliche Weise verwendet. 



  Wenn Sprache künstlich erzeugt wird, wird für gewöhnlich eine Bibliothek mit Grundphonemen verwendet. Wenn diese Phoneme zu Wörtern zusammengesetzt werden, müssen sie in vielen Fällen auf längere oder kürzere Zeiträume transformiert werden als sie durch das Grundphonem dargestellt werden. In diesem Zusammenhang ist bekannt, das Phonem an einer Reihe von Punkten zu identifizieren. Wenn das ursprüngliche Phonem auf einen anderen Zeitmassstab transformiert wird, was ein Verlängern oder Verkürzen des Zeitmassstabs bedeuten kann, so ist bekannt, die Transformation an einer Reihe von ausgewählten Punkten durchzuführen. Wenn der Zeitmassstab verlängert wird, so schliesst dies bestimmte Punkte im ursprünglichen Phonem mit ein, welche eine Reihe von Punkten im neuen Phonem darstellen.

   Wird der Zeitmassstab verkürzt, dann wird eine Reihe von Punkten im ursprünglichen Phonem zusammengefasst, um einen Punkt im neuen Phonem zu bilden. Wird das ursprüngliche Phonem auf einen Zeitmassstab übertragen, welcher beispielsweise 25% länger als das Phonem in der Bibliothek ist, dann wird eine Reihe von Punkten im Bibliotheksphonem ausgewählt. Beim neuen Phonem, welches durch die Transformation gebildet wird, werden 25% mehr Punkte eingefügt als im Bibliotheksphonem. Nach der Transformation enthält das Phonem somit eine Reihe von Punkten, welche beim Bibliotheksphonem nicht definiert sind. Nach der Transformation wird jeder vierte Punkt im Bibliotheksphonem ausgewählt. Diese Teile des Phonems wer den verdoppelt und zu zwei Punkten im verlängerten Phonem übertragen. Die übrigen Punkte werden Punkt für Punkt vom Bibliotheksphonem zum verlängerten Phonem hin übertragen.

   Dies führt zu einer zeitlichen Verlängerung des ursprünglichen Phonems mittels einer gleichmässigen Zeitverlängerung über das gesamte Phonem. In jenen Fällen, in denen das Bibliotheksphonem länger ist als das zu bildende Phonem, wird jeder vierte Punkt auf gleiche Weise wie oben gewählt, unter der Annahme, dass die Zeitverkürzung 25% beträgt. Beim Bilden des zeitverkürzten Phonems werden diese Punkte bei der Transformation entfernt. Im Patent EP 0 252 544 wird eine Sprachmassstabsmodifikation eines neuen Signalpunktes beschrieben. Diese beruht unter anderem auf der Erkenntnis, dass Zeitmassstabskompression den Informationsgehalt reduziert und Zeitmassstabsdehnung den Informationsgehalt vergrössert. Somit können entlang einem Segment "Tonhöheperioden" entfernt bzw. eingefügt werden.

   Die Erfindung stellt ein Verfahren zum Verbessern des SOLA-Verfahrens durch Überlagerung teilweise überlappender Blöcke dar. 



  Das US-Patent 4 435 832 zeigt Sprachsynthese mit Verlängern und Komprimieren des Zeitmassstabs, ohne die Tonhöhe der synthetischen Sprache zu verändern. LPC-Parameter werden von segmentierten Wellenformen, welche aus der natürlichen Sprache zu einem bestimmten Zeitintervall entnommen wurden, von Informationen über stimmhafte/stimmlose Phoneme, Tonhöhe- und Lautstärkeinformationen abgetastet. LPC wird interpoliert, und das Zeitmassstabsintervall für die Interpolation wird verbessert. 



  In der US-Patentschrift 4 864 620 wird ein Verfahren zur Zeitmassstabsmodifikation von Sprachinformationen oder Sprachsignalen beschrieben, um aufgezeichnete Sprache mit unterschiedlicher Geschwindigkeit ohne Veränderungen in der Tonhöhe zu reproduzieren. Zeitbereichsabtastungen werden in Rahmen durchgeführt, wo die Anzahl von Abtastungen pro Rahmen eine Funktion des gewünschten Sprachveränderungsfaktors ist. 



  Aus den Rahmen werden Blöcke gebildet. Relativ weiche Übergänge werden durch abgestufte Gewichtung erzeugt. 



  Zeitmassstabsmodifizierung von Sprachsignalen wird ebenfalls im US-Patent 5 216 744 beschrieben. Die Anzahl an Abtastungen, welche eine "Tonhöhenperiode" darstellen, wird bestimmt. Des Weiteren wird eine kombinierte Abtastgruppe aus einer ersten Abtastgruppe und einer zweiten Abtastgruppe gebildet. Die Anzahl an Abtastungen in jeder Gruppe ist gleich der Anzahl an Abtastungen, welche eine Tonhöhenperiode darstellen. 



  Bei der Sprachsynthese ist es wesentlich, dass Wörter und Sätze, welche künstlich hergestellt werden, natürlich reproduziert werden. Es ist ebenso wesentlich, dass Sprache, welche von einer Person erzeugt wird, auf richtige Weise geäussert bzw. identifiziert wird. In diesem Zusammenhang ist es möglich, eine Reihe von charakteristischen Lauten, Phonemen, für verschiedene Sprachen zu äussern bzw. identifizieren. Diese Phoneme werden in verschiedenen Formen von Bibliotheken angeordnet. Die gesprochenen Phoneme stellen einen grundlegenden Kern dar. Die Phoneme können sich über eine längere oder kürzere Zeit erstrecken als die Zeitintervalle, welche vom Grundphonem dargestellt werden, je nachdem, in welchem Kontext und in welchen Wörtern sie enthalten sind.

   Das bedeutet, dass die Phoneme, welche in der Bibliothek vertreten sind, in längere oder kürzere Zeiträume transformiert werden müssen. In diesem Zusammenhang ist es bei derartigen Transformationen wesentlich, dass die Charakteristik des Phonems nicht verändert wird. Das bedeutet, dass die informationstragenden Teile des Phonems nicht verändert werden sollten. Es ist somit erstrebenswert, dass Zeitveränderungen in jenen Teilen des Phonems erfolgen, welche weniger Information tragen. Beim Zusammensetzen einer Reihe von Phonemen zu Wörtern und Sätzen ist es ebenfalls wesentlich, dass die Übergänge zwischen Phonemen derart erfolgen, dass  die informationstragenden Teile eines entsprechenden Phonems nicht verändert werden. 



  Bei der natürlichen Sprache wird der grundlegende Ton innerhalb ein und desselben Phonems im Verlauf des Sprechens verändert. Die Lösungen, die bislang angeboten wurden, haben dieses Problem nicht berücksichtigt. Es ist somit erstrebenswert, dass die Veränderung im grundlegenden Ton, eine höhere oder niedrigere Frequenz, beim Transformieren von Phonemen berücksichtigt wird. 



  Mit der gekennzeichneten Erfindung wird beabsichtigt, eine Lösung des dargelegten Problems vorzusehen. Die erfindungsgemässe Lösung wird durch den kennzeichnenden Teil des Anspruchs 1 angegeben. 



  Bei der vorliegenden Erfindung, welche ein Verfahren bei der Sprachsynthese betrifft, wird ein Phonem in einer Reihe von Punkten in der entsprechenden Stimmbanderregung des Sprechers geäussert bzw. identifiziert. Das Phonem muss in eine andere Zeit transformiert werden als jene, welche durch das ursprüngliche Phonem dargestellt wird. Nachdem die Punkte ausgewählt worden sind, werden die Punkte im Phonem, die informationstragend sind, identifiziert. Informationstragend bedeutet in diesem Zusammenhang jene Teile im Phonem, welche erforderlich sind, damit das Phonem richtig verstanden werden kann. Die Teile des Phonems, welche weniger Information tragen, werden ebenfalls identifiziert. Teile, welche weniger Information tragen, können verändert werden, ohne dass die Charakteristik des Phonems in ihrem wesentlichsten Teil verändert wird.

   Wenn Phoneme verwendet werden, beispielsweise beim Erzeugen von künstlicher Sprache, ist es erstrebenswert, dass eine Reihe von Grundphonemen verwendet werden kann, welche zu verschiedenen Anlässen zu gewünschten Werten transformiert werden. Die Erfindung trägt dieser Situation Rechnung und bewegt die Übergänge zwischen verschiedenen Phonemen zu den Teilen, welche weniger Information tragen. 



  Beim Transformieren auf einen neuen Zeitmassstab erfolgt Kompression bzw. Dehnung im Wesentlichen in jenen Teilen des Phonems, welche weniger Information tragen. Auf diese Weise werden die informationstragenden Teile des Phonems im Wesentlichen intakt erhalten. 



  Die Anordnung umfasst ein Element, welches ein Phonem aus einer gesprochenen Sequenz oder aus einem Speicherelement auswählt. Das Element identifiziert eine Reihe von Punkten im Phonem. Danach werden die informationstragenden Teile des Phonems bzw. jene Teile des Phonems, welche weniger Information tragen, identifiziert. Daraufhin sorgt das Element dafür, dass eine Transformation des Phonems auf einen längeren/kürzeren Zeitraum durch Kompression bzw. Dehnen in jenen Teilen des Phonems erfolgt, welche weniger Information tragen. Auf diese Weise wird der Charakter des Phonems im Wesentlichen beibehalten. Des Weiteren besteht eine Möglichkeit Übergänge zwischen verschiedenen Phonemen herzustellen, welche einen natürlichen Eindruck hinterlassen. 



  Die Erfindung erlaubt das Speichern einer Reihe von Bibliotheksphonemen, welche eine Reihe von Standardlauten darstellen, die in der Sprache vorkommen. Diese Bibliotheksphoneme können daraufhin für eine Transformation auf eine kürzere oder längere Zeit verwendet werden als sie vom Bibliotheksphonem dargestellt wird. Bei der beschriebenen Lösung wird das transformierte Phonem in Bezug auf das Bibliotheksphonem minimal verstümmelt. Dies ist auf die Tatsache zurückzuführen, dass jene Teile des Phonems, welche für die Interpretation des Phonems wesentlich sind, unverändert bleiben oder in einem geringeren Ausmass verändert werden. Die Erfindung gestattet auch, Veränderungen im grundlegenden Ton des Phonems zu berücksichtigen. Es ist somit möglich, Schwankungen im grundlegenden Ton gegenüber dem Bibliotheksphonem in das transformierte Phonem einzubinden.

   Die Bedeutung davon ist, dass erzeugten Sprachsequenzen ein Charakter verliehen werden kann, welcher natürlicher Sprache entspricht. Dies ist  wesentlich, zum Teil, um die Sprache zu verstehen, und zum Teil, um im erzeugten Laut eine natürliche Intonation zu erhalten. 



  Im folgenden Text wird die Erfindung mit Bezugnahme auf die Zeichnungen beschrieben. Es zeigen: 
 
   Fig. 1 Beispiele der Abbildung linearer Zeitmassstäbe; 
   Fig. 2 eine erfindungsgemässe Zeitmassstabsänderung; 
   Fig. 3 die Erfindung, dargestellt in Form eines Blockdiagramms und 
   Fig. 4 ein Phonem, in welchem ein Fenster A einen Impuls asymmetrisch ausschneidet. 
 



  Beim Erzeugen einer künstlichen Sprache kommt bei 1 aus Fig. 3 ein Text an. Der Text wird durch 1 analysiert und in seine grundlegenden Bestandteile zerlegt. Danach werden die Phoneme aus der Bibliothek ausgewählt. Das Phonem in der Bibliothek stellt einen Standardwert dar. Das bedeutet, dass dem Phonem hinsichtlich Dauer, Tonhöhe usw. ein Standardwert gegeben wurde. Wenn das Phonem daraufhin in den Text eingefügt werden soll, der angekommen ist, ist in der Regel irgendeine Form der Modifikation des Phonems erforderlich. Das bedeutet, dass die Erstreckung des Phonems über die Zeit verändert werden muss. Dies wird beispielsweise durch lange, kurze oder mittellange Zeiten dargestellt, während derer beispielsweise ein Vokal dargestellt werden muss. Um das Bibliotheksphonem zu transformieren, wird es an einer Reihe von Punkten identifiziert.

   Daraufhin wird das Phonem durch 1 analysiert. In der Analyse werden informationstragende Teile und Teile, welche weniger Information tragen, bestimmt. Die Teile, welche weniger Information tragen, werden sodann zur Transformation ausgewählt. Es wurde beobachtet, dass die Übergänge zwischen verschiedenen Phonemen von grösserer Bedeutung als die stabileren Teile im Inneren der Phoneme sind. Der Aufbauvorgang, welcher entscheidende Informationen hinsichtlich der Interpretation des Phonems enthält, ist in diesem Zusammenhang von  besonderer Bedeutung. Die Punkte, welche weniger Information tragen, werden dann auf eine Reihe gleichwertiger Punkte im neuen Zeitmassstab kopiert, wenn die Zeit verlängert wird. Dies geht aus Fig. 2 hervor, wo bestimmte Punkte vom kürzeren Zeitmassstab zu einer Reihe von Punkten im längeren Zeitmassstab übertragen werden.

   Auf diese Weise werden die informationstragenden Teile des Phonems beim Dehnen des Zeitmassstabs beibehalten, ohne dass die Charakteristik des Phonems verändert wird. 



  Der Zeitmassstab wird auf analoge Weise verkürzt. In diesem Fall werden zwei oder mehrere Punkte in jenem Teil des Phonems, welches keine Information trägt, zusammengefasst, um einen Punkt zu bilden. Auf diese Weise werden die informationstragenden Teile ebenfalls grösstenteils intakt gehalten, wenn der Zeitmassstab im Phonem verkürzt wird. 



  Um die Wirkung einer vorangehenden Stimmbanderregung zu reduzieren, wurde ein Fenster ausgewählt, welches asymmetrisch ausgeschnitten wurde. Dies wird in Fig. 4 dargestellt. Das Fenster wird demnach steil am Anfang ausgeschnitten, wodurch die Anfangsperiode des Impulses und ein minimaler Teil des Endteiles des vorangehenden Impulses aufgezeichnet werden. Ebenfalls geeignet ist, einen derart grossen Teil des Impulses auszuschneiden, dass sein Maximalwert und ein Anteil des gedämpften Impulses erhalten werden. Diese Lösung schafft die Möglichkeit, die Übergänge zwischen den Stimmbanderregungsimpulsen in jene Bereiche bewegen, wo die Impulse gedämpft sind und keine wichtige Information enthalten. Ein Fensterausschnitt dieser Art führt auch dazu, dass es möglich ist, die Bedeutung der einzelnen Impulse für ein Verstehen der Phoneme zu identifizieren. 



  Die Erfindung gestattet auch, verschiedene Punkte im Bibliotheksphonem hinsichtlich der informationstragenden Elemente zu gewichten. Die Gewichtung wird bei der Transformation des Phonems derart verwendet, dass die Punkte, denen eine niedri- gere Gewichtung zugeteilt wurde, über einen längeren Zeitraum transformiert werden als jene Teile, denen eine höhere Gewichtung zugeteilt wurde. Somit werden Punkte niedriger Gewichtung beispielsweise drei Punkten in einem längeren Zeitmassstab zugeteilt, während Punkte mittlerer Gewichtung beispielsweise auf zwei Punkte im neuen Zeitmassstab transformiert werden und Punkte mit der höchsten Gewichtung unverändert in den neuen Massstab übertragen werden. 



  Bei der Transformation auf einen kürzeren Zeitmassstab als jenem, welcher im Grundphonem dargestellt ist, werden beispielsweise drei Punkte, welche die niedrigste Gewichtung darstellen, auf ähnliche Weise zu einem Punkt zusammengefasst, und je zwei Punkte mittlerer Gewichtung werden im zeitverkürzten Phonem zu einem Punkt zusammengefasst. Punkte höchster Gewichtung werden unverändert in den neuen Zeitmassstab übertragen. 



  Auf diese Weise ermöglicht die Erfindung das Durchführen der Zeitmassstabsänderung von Phonemen, ohne dass die informationstragenden Teile des Phonems in irgendeinem wesentlichen Aspekt verändert werden. Das Verfahren ermöglicht auch, verschiedene Phoneme derart miteinander zu verbinden, dass an den Phonemübergängen wichtige Informationen in den Phonemen nicht zerstört werden. Dies wird dadurch erreicht, dass der Übergang zwischen den Phonemen in Teilen erfolgt, welche keinerlei Information tragen. Auf diese Weise ermöglicht die Erfindung, dass Wörter und Ausdrücke, die mittels Sprachsynthese erzeugt werden, beinahe natürlich werden. 



  Aufgrund der Tatsache, dass die ausgewählten Punkte im Phonem Stimmbanderregungen in der Sprache darstellen, ist es möglich, den grundlegenden Ton zu verändern. Dies ist beispielsweise erforderlich, um dem Phonem, welches erzeugt wird, den richtigen Charakter zu verleihen. Die Änderung des grundlegenden Tons wird dadurch erreicht, dass die Stimmbanderregungen im erzeugten Phonem an Punkten reproduziert werden,  welche hinsichtlich des ursprünglichen Phonems verändert sind. Nehmen wir beispielsweise an, dass das Grundphonem einen Laut mit unverändertem grundlegendem Ton darstellt. Das bedeutet, dass die Stimmbanderregungen mit demselben Abstand zwischen ihnen erfolgen. Bei einem transformierten Phonem wird der grundlegende Ton allerdings während der Dauer des Phonems verändert.

   In Anbetracht des Wissens um die Veränderung in der Charakteristik des grundlegenden Tons, muss dem bei der Transformation Rechnung getragen werden. Beim neuen Phonem, welches in diesem Fall ein Phonem sein kann, das zeitlich unverändert ist oder auf eine längere oder kürzere Zeit verändert wird, werden die Zeitintervalle zwischen jeder Stimmbanderregung, welche im Phonem aufscheinen soll, bestimmt. Demnach wird beispielsweise das Zeitintervall zwischen der ersten und der zweiten Stimmbanderregung als T1 und das Intervall zwischen der letzten und vorletzten Stimmbanderregung als T2 bestimmt. Wenn es in diesem Fall dazu kommt, dass sich die Veränderung im grundlegenden Ton gleichförmig im Verlauf der Zeit ändert, müssen die dazwischenliegenden Stimmbanderregungen verteilt werden, wobei dies berücksichtigt wird.

   Die Verteilung wird zweckmässig mit Hilfe bekannter mathematischer Modelle durchgeführt. Entsprechende Stimmbanderregungen im Grundphonem werden dann auf entsprechende Punkte im transformierten Phonem übertragen. Dies schafft eine Schwankung im grundlegenden Ton, welche der natürlichen Sprache entspricht. 



  Die Erfindung ist nicht auf die oben dargelegte Ausführungsform begrenzt, sondern kann Modifikationen innerhalb des Rahmens der nachfolgenden Patentansprüche und des Erfindungsgedankens unterzogen werden. 

Claims (10)

1. Verfahren bei der Synthese von Sprache zum Transformieren eines gegebenen Phonems von einem ersten Zeitmassstab auf einen zweiten Zeitmassstab, dadurch gekennzeichnet, dass Punkte mit einem umliegenden Zeitintervall, welches einen Teil der Kurve des Phonems darstellt, bestimmt werden, dass die Teile des Phonems, welche mehr Informationen tragen, und diejenigen Teile des Phonems, welche weniger Information tragen, identifiziert werden und dass die Teile des Phonems, welche weniger Information tragen, auf einen längeren oder kürzeren Zeitraum im zweiten Zeitmassstab auf den zweiten Zeitmassstab transformiert werden und auch dass die Teile des Phonems, welche mehr Information tragen, auf den zweiten Zeitmassstab transformiert werden, ohne im Wesentlichen zeitmässig verändert zu werden, wodurch der ursprüngliche Charakter des Phonems im Wesentlichen beibehalten wird.

2.

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die verschiedenen Punkte im Phonem identifiziert werden und ihnen hinsichtlich des Ausmasses an Information, welche sie darstellen, eine unterschiedliche Gewichtung zugeteilt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Punkte mit geringerer Gewichtung auf einen längeren oder kürzeren Zeitraum transformiert werden als die Punkte höherer Gewichtung und dass die Transformation durch Verdoppelung bzw. Entfernen von Punkten niedrigerer Gewichtung erfolgt.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Phonemübergänge an jenen Teilen des Phonems erfolgen, welche keinerlei Information tragen.

5.

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ausgewählte Punkte im zweiten Zeitmassstab mit demselben oder einem anderen Zeitintervall ausgewählt werden als im ersten Zeitmassstab, wodurch nach der Transformation des Phonems ein grundlegender Ton erhalten bleibt oder hinsichtlich des gegebenen Phonems verändert wird.

6.

Anordnung zur Synthese von Sprache, umfassend ein Auswahlelement, welches aus einer gesprochenen Sequenz oder aus einem Speicherelement ein Phonem auswählt, um das Phonem von einem ersten Zeitmassstab auf einen zweiten Zeitmassstab zu übertragen, dadurch gekennzeichnet, dass das Auswahlelement eine Reihe von Punkten mit einem umliegenden Zeitintervall identifiziert, welches einen Teil der Phonemkurve des Phonems darstellt, wodurch die Teile des Phonems, welche Information tragen, bzw. jene, welche weniger Information tragen, identifizierbar sind, dass durch das Auswahlelement die Teile des Phonems, welche weniger Information tragen, bei der Transformation des Phonems auf einen anderen Zeitmassstab als den ursprünglichen Zeitmassstab, welcher durch das Phonem representiert ist, auf einen längeren bzw.

kürzeren Zeitraum transformierbar sind und dass der ursprüngliche Charakter des Phonems im Wesentlichen beibehaltbar ist.

7. Anordnung nach Anspruch 6, dadurch gekennzeichnet, dass das Auswahlelement verschiedene Punkte in Abhängigkeit des Informationsgehalts dieser Punkte mit Hinblick auf die Identifizierbarkeit des Phonems identifiziert und gewichtet.

8. Anordnung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass das Auswahlelement Punkte niedrigerer Gewichtung auf einen längeren Zeitmassstab transformiert als jene Punkte, welche eine mittlere Gewichtung darstellen, und dass Punkte, welchen eine hohe Gewichtung zugeteilt wurde, unverändert transformierbar sind.

9.

Anordnung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass drei oder mehrere Punkte niedriger Gewichtung zusammenfassbar sind, und dass Punkte mittlerer Gewichtung in kleineren Mengen zusammenfassbar sind als Punkte niedriger Gewichtung, und dass Punkte hoher Gewichtung unverändert transformierbar sind.

10. Anordnung nach Anspruch 6, dadurch gekennzeichnet, dass das Auswahlelement den grundlegenden Ton im Phonem beim Übertragen auf den zweiten Zeitmassstab verändert und dass die ausgewählten Punkte im Phonem Stimmbanderregungen in der Sprache repräsentieren.