JP2000310997A - 連結型音声合成のための単位重複領域の識別方法および連結型音声合成方法 - Google Patents
連結型音声合成のための単位重複領域の識別方法および連結型音声合成方法Info
- Publication number
- JP2000310997A JP2000310997A JP2000065106A JP2000065106A JP2000310997A JP 2000310997 A JP2000310997 A JP 2000310997A JP 2000065106 A JP2000065106 A JP 2000065106A JP 2000065106 A JP2000065106 A JP 2000065106A JP 2000310997 A JP2000310997 A JP 2000310997A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- vowel
- time
- statistical model
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
- G10L13/07—Concatenation rules
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrically Operated Instructional Devices (AREA)
- Machine Translation (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
(57)【要約】
【課題】 シームレスで、かつ歪みのない重複を与える
音声単位領域の識別方法および連結型音声合成方法を提
供する。 【解決手段】 音声の時変特性を表す統計モデルを画定
し、同じ母音を含む異なる音声単位に対応する複数の時
系列データを提供し、時系列データから音声信号パラメ
ータを抽出し、音声信号パラメータを用いて統計モデル
を学習させ、学習させた統計モデルを用いて時系列デー
タ内の繰り返しシーケンスを識別し、繰り返しシーケン
スを母音の中心の核をなす状態遷移部と関連付け、繰り
返しシーケンスを用いて、連結型音声合成のための単位
重複領域を定める連結型音声合成のための単位重複領域
の識別方法を提供する。さらに、音声単位の各単位重複
領域に基づいて、２つの異なる音声単位からの時系列デ
ータを重複させ、マージして新たな音声単位を連結して
合成する連結型音声合成方法を提供する。
音声単位領域の識別方法および連結型音声合成方法を提
供する。 【解決手段】 音声の時変特性を表す統計モデルを画定
し、同じ母音を含む異なる音声単位に対応する複数の時
系列データを提供し、時系列データから音声信号パラメ
ータを抽出し、音声信号パラメータを用いて統計モデル
を学習させ、学習させた統計モデルを用いて時系列デー
タ内の繰り返しシーケンスを識別し、繰り返しシーケン
スを母音の中心の核をなす状態遷移部と関連付け、繰り
返しシーケンスを用いて、連結型音声合成のための単位
重複領域を定める連結型音声合成のための単位重複領域
の識別方法を提供する。さらに、音声単位の各単位重複
領域に基づいて、２つの異なる音声単位からの時系列デ
ータを重複させ、マージして新たな音声単位を連結して
合成する連結型音声合成方法を提供する。
Description
【０００１】
【発明の属する技術分野】本発明は、本発明は連結型
（concatenative）音声を合成するシステムに関する。
より詳しくは、本発明は、連結した音声単位（音声ユニ
ット：speech unit）について適切なエッジ境界領域を
識別するためのシステムおよび方法に関する。システム
は、音声単位モデルを用いて設けられた音声単位データ
ベースを利用する。
（concatenative）音声を合成するシステムに関する。
より詳しくは、本発明は、連結した音声単位（音声ユニ
ット：speech unit）について適切なエッジ境界領域を
識別するためのシステムおよび方法に関する。システム
は、音声単位モデルを用いて設けられた音声単位データ
ベースを利用する。
【０００２】
【従来の技術】連結型音声の合成は、今日、数多くの様
々な形態で世の中に存在しており、それは、どのように
連結音声単位が格納され、処理されるかに依存してい
る。これらの形態は、時間領域波形表現や、（例えば、
フォルマント線形予測コーディングＬＰＣ表現などの）
周波数領域表現、またはこれらの組み合わせを含む。
々な形態で世の中に存在しており、それは、どのように
連結音声単位が格納され、処理されるかに依存してい
る。これらの形態は、時間領域波形表現や、（例えば、
フォルマント線形予測コーディングＬＰＣ表現などの）
周波数領域表現、またはこれらの組み合わせを含む。
【０００３】音声単位の形態にかかわらず、連結型音声
の合成は、各単位（ユニット：unit）のエッジで適切な
境界領域を識別することにより行われる。ここで、単位
は滑らかに重複され、それにより語や句を含む新たな音
声単位に合成される。連結型音声合成システムにおける
音声単位は、典型的には２音（diphones）または半音節
（demisyllables）である。この場合には、境界重複領
域は音素内にある（phoneme-medial）。したがって、例
えば、「tool」という語は、「tooth」および「fool」
という語から導き出された単位「tu」および「ul」によ
り組み立てられる。決定すべきは、どの程度の量のソー
ス語が音声単位にセーブされるかであり、また一緒に置
かれたときにどの程度重複するべきかである。
の合成は、各単位（ユニット：unit）のエッジで適切な
境界領域を識別することにより行われる。ここで、単位
は滑らかに重複され、それにより語や句を含む新たな音
声単位に合成される。連結型音声合成システムにおける
音声単位は、典型的には２音（diphones）または半音節
（demisyllables）である。この場合には、境界重複領
域は音素内にある（phoneme-medial）。したがって、例
えば、「tool」という語は、「tooth」および「fool」
という語から導き出された単位「tu」および「ul」によ
り組み立てられる。決定すべきは、どの程度の量のソー
ス語が音声単位にセーブされるかであり、また一緒に置
かれたときにどの程度重複するべきかである。
【０００４】連結型テキスト−音声（text-to-speech :
TTS）システムに関する従来の研究では、重複領域を判
定するのに多くの方法が利用されてきた。このようなシ
ステムを設計するに際しては、３つの因子が考慮され
る。すなわち、 ・シームレスな連結：音声単位の重複により、ある単位
とテキストとの間は十分滑らかに遷移し、急激な変化は
聞こえないようにすべきである。リスナーには、音声片
から組み立てられた音声を聞いているとはわからないよ
うする必要がある。
TTS）システムに関する従来の研究では、重複領域を判
定するのに多くの方法が利用されてきた。このようなシ
ステムを設計するに際しては、３つの因子が考慮され
る。すなわち、 ・シームレスな連結：音声単位の重複により、ある単位
とテキストとの間は十分滑らかに遷移し、急激な変化は
聞こえないようにすべきである。リスナーには、音声片
から組み立てられた音声を聞いているとはわからないよ
うする必要がある。
【０００５】・歪みのない遷移：音声単位の重複によ
り、それ自身の歪みを生じてはならない。単位は、非重
複音声との識別ができないように混在する必要がある。
り、それ自身の歪みを生じてはならない。単位は、非重
複音声との識別ができないように混在する必要がある。
【０００６】・最小のシステム負荷：音声合成部におけ
る計算に必要な要件および／または記憶容量の要件は、
できるだけ小さくする必要がある。
る計算に必要な要件および／または記憶容量の要件は、
できるだけ小さくする必要がある。
【０００７】
【発明が解決しようとする課題】現在のシステムではこ
れらの３つの目標の間にはトレードオフが存在し、３つ
のすべてに関して最適なシステムは存在していない。現
在のアプローチは、一般的に３つの目標のバランスをと
った、２つの選択に基づいてグループ化できる。第１の
選択は、短い重複領域を用いるか、長い重複領域を用い
るかである。短い重複領域を用いると、単一の声門パル
スと同じ程度に早くできる。一方、長い重複領域を用い
ると、全音素の大部分を含むことができる。第２の選択
は、重複領域は前後関係が整合しているか、または変化
してもよいかである。前者の場合には、各音声単位の対
応する部分は、先行する単位および後続の単位がどのよ
うな単位であるかにかかわらず重複している。後者の場
合には、その単位が用いられる度に、隣接する単位に依
存して、用いられる部分が変化する。
れらの３つの目標の間にはトレードオフが存在し、３つ
のすべてに関して最適なシステムは存在していない。現
在のアプローチは、一般的に３つの目標のバランスをと
った、２つの選択に基づいてグループ化できる。第１の
選択は、短い重複領域を用いるか、長い重複領域を用い
るかである。短い重複領域を用いると、単一の声門パル
スと同じ程度に早くできる。一方、長い重複領域を用い
ると、全音素の大部分を含むことができる。第２の選択
は、重複領域は前後関係が整合しているか、または変化
してもよいかである。前者の場合には、各音声単位の対
応する部分は、先行する単位および後続の単位がどのよ
うな単位であるかにかかわらず重複している。後者の場
合には、その単位が用いられる度に、隣接する単位に依
存して、用いられる部分が変化する。
【０００８】重複が長いと、単位間の遷移がよりシーム
レスになるという利点がある。その理由は、それらの間
の微妙な相違が取り除かれる機会が多いからである。し
かし、重複が長いと歪みを生じやすい。信号と異なり、
混合すると歪みが生じる。
レスになるという利点がある。その理由は、それらの間
の微妙な相違が取り除かれる機会が多いからである。し
かし、重複が長いと歪みを生じやすい。信号と異なり、
混合すると歪みが生じる。
【０００９】重複が短いと、歪みを最小にできるという
利点がある。重複を短くすると、重複部分を十分に一致
させることが簡単かつ確実にできる。短い重複領域は、
（動的変化状態とは異なり）ほぼその瞬間の状態の特徴
を表すと考えられる。しかし重複を短くすると、重複が
長いシステムで実現できるシームレスな連結が犠牲にな
る。
利点がある。重複を短くすると、重複部分を十分に一致
させることが簡単かつ確実にできる。短い重複領域は、
（動的変化状態とは異なり）ほぼその瞬間の状態の特徴
を表すと考えられる。しかし重複を短くすると、重複が
長いシステムで実現できるシームレスな連結が犠牲にな
る。
【００１０】重複が長い場合でシームレスが実現できる
ことが望ましく、重複が短い場合に歪みを少なくできる
ことが望ましいが、現在までのところ、これを達成でき
るシステムは存在しない。最新のシステムの中には、重
複が長い場合の利点を保持しながら歪みを最小にすると
いう目的で、可変重複領域を用いる実験が行われている
ものがある。しかし、このようなシステムは、計算負荷
が高い処理に非常に大きく頼っているために、多くの用
途には非実用的である。
ことが望ましく、重複が短い場合に歪みを少なくできる
ことが望ましいが、現在までのところ、これを達成でき
るシステムは存在しない。最新のシステムの中には、重
複が長い場合の利点を保持しながら歪みを最小にすると
いう目的で、可変重複領域を用いる実験が行われている
ものがある。しかし、このようなシステムは、計算負荷
が高い処理に非常に大きく頼っているために、多くの用
途には非実用的である。
【００１１】本発明の目的は、シームレスで、かつ歪み
のない重複を与える音声単位の領域を識別する方法、お
よび連結型音声を合成する方法を提供することである。
のない重複を与える音声単位の領域を識別する方法、お
よび連結型音声を合成する方法を提供することである。
【００１２】
【課題を解決するための手段】本発明の連結型音声合成
のための単位重複領域の識別方法は、音声の時変特性を
表す統計モデルを画定するステップと、同じ母音を含む
異なる音声単位に対応する複数の時系列データを提供す
るステップと、前記時系列データから音声信号パラメー
タを抽出し、前記音声信号パラメータを用いて前記統計
モデルを学習するステップと、学習させた前記統計モデ
ルを用いて前記時系列データ内の繰り返しシーケンスを
識別し、前記繰り返しシーケンスを前記母音の中心の核
をなす状態遷移部と関連付けるステップと、前記繰り返
しシーケンスを用いて、連結型音声合成のための単位重
複領域を定めるステップとからなり、それにより上記目
的が達成される。
のための単位重複領域の識別方法は、音声の時変特性を
表す統計モデルを画定するステップと、同じ母音を含む
異なる音声単位に対応する複数の時系列データを提供す
るステップと、前記時系列データから音声信号パラメー
タを抽出し、前記音声信号パラメータを用いて前記統計
モデルを学習するステップと、学習させた前記統計モデ
ルを用いて前記時系列データ内の繰り返しシーケンスを
識別し、前記繰り返しシーケンスを前記母音の中心の核
をなす状態遷移部と関連付けるステップと、前記繰り返
しシーケンスを用いて、連結型音声合成のための単位重
複領域を定めるステップとからなり、それにより上記目
的が達成される。
【００１３】前記統計モデルは隠れマルコフモデルであ
ってもよい。
ってもよい。
【００１４】前記統計モデルはリカレントニューラルネ
ットワークであってもよい。
ットワークであってもよい。
【００１５】前記音声信号パラメータは音声フォルマン
トを含んでいてもよい。
トを含んでいてもよい。
【００１６】前記統計モデルは、前記母音の中心の核を
なす状態遷移部と、前記中心の核をなす状態遷移部の周
囲の遷移部とを別々にモデル化するデータ構造を有して
いてもよい。
なす状態遷移部と、前記中心の核をなす状態遷移部の周
囲の遷移部とを別々にモデル化するデータ構造を有して
いてもよい。
【００１７】統計モデルを学習する前記ステップは、埋
め込み再評価により行われ、前記時系列データによって
表される全データセットにわたって整列のために収束し
たモデルを生成してもよい。
め込み再評価により行われ、前記時系列データによって
表される全データセットにわたって整列のために収束し
たモデルを生成してもよい。
【００１８】前記統計モデルは、前記母音の中心の核を
なす状態遷移部と、前記中心の核をなす状態遷移部に先
行する第１の遷移部と、前記中心軌線領域に後続する第
２の遷移部とを別々にモデル化するデータ構造を有し、
前記データ構造を用いて、前記第１の遷移部および前記
第２の遷移部の１つに対応する前記時系列データの１部
分を破棄するステップを含んでいてもよい。
なす状態遷移部と、前記中心の核をなす状態遷移部に先
行する第１の遷移部と、前記中心軌線領域に後続する第
２の遷移部とを別々にモデル化するデータ構造を有し、
前記データ構造を用いて、前記第１の遷移部および前記
第２の遷移部の１つに対応する前記時系列データの１部
分を破棄するステップを含んでいてもよい。
【００１９】本発明による連結型音声合成方法は、音声
の時変特性を表す統計モデルを画定するステップと、同
じ母音を含む異なる音声単位に対応する複数の時系列デ
ータを提供するステップと、前記時系列データから音声
信号パラメータを抽出し、前記音声信号パラメータを用
いて前記統計モデルを学習するステップと、学習させた
前記統計モデルを用いて前記時系列データ内の繰り返し
シーケンスを識別し、前記繰り返しシーケンスを前記母
音の中心の核をなす状態遷移部と関連付けるステップ
と、前記繰り返しシーケンスを用いて、連結型音声合成
のための単位重複領域を定めるステップと、前記音声単
位の各単位重複領域に基づいて、２つの異なる前記音声
単位からの前記時系列データを重複させ、マージするこ
とにより、新たな音声単位を連結して合成するステップ
とからなり、それにより上記目的が達成される。
の時変特性を表す統計モデルを画定するステップと、同
じ母音を含む異なる音声単位に対応する複数の時系列デ
ータを提供するステップと、前記時系列データから音声
信号パラメータを抽出し、前記音声信号パラメータを用
いて前記統計モデルを学習するステップと、学習させた
前記統計モデルを用いて前記時系列データ内の繰り返し
シーケンスを識別し、前記繰り返しシーケンスを前記母
音の中心の核をなす状態遷移部と関連付けるステップ
と、前記繰り返しシーケンスを用いて、連結型音声合成
のための単位重複領域を定めるステップと、前記音声単
位の各単位重複領域に基づいて、２つの異なる前記音声
単位からの前記時系列データを重複させ、マージするこ
とにより、新たな音声単位を連結して合成するステップ
とからなり、それにより上記目的が達成される。
【００２０】前記合成するステップを行う前に、前記単
位重複領域の少なくとも１つの継続時間を選択的に変化
させて、前記単位重複領域の他方の継続時間に一致させ
るステップをさらに含んでいてもよい。
位重複領域の少なくとも１つの継続時間を選択的に変化
させて、前記単位重複領域の他方の継続時間に一致させ
るステップをさらに含んでいてもよい。
【００２１】前記統計モデルは隠れマルコフモデルであ
ってもよい。
ってもよい。
【００２２】前記統計モデルはリカレントニューラルネ
ットワークであってもよい。
ットワークであってもよい。
【００２３】前記音声信号パラメータは音声フォルマン
トを含んでいてもよい。
トを含んでいてもよい。
【００２４】前記統計モデルは、前記母音の中心の核を
なす状態遷移部と、前記中心の核をなす状態遷移部の周
囲の遷移部とを別々にモデル化するデータ構造を有して
いてもよい。
なす状態遷移部と、前記中心の核をなす状態遷移部の周
囲の遷移部とを別々にモデル化するデータ構造を有して
いてもよい。
【００２５】統計モデルを学習する前記ステップは、埋
め込み再評価により行われ、前記時系列データによって
表される全データセットにわたって整列のために収束し
たモデルを生成してもよい。
め込み再評価により行われ、前記時系列データによって
表される全データセットにわたって整列のために収束し
たモデルを生成してもよい。
【００２６】前記統計モデルは、前記母音の中心の核を
なす状態遷移部と、前記中心の核をなす状態遷移部に先
行する第１の遷移部と、前記中心の核をなす状態遷移部
に後続する第２の遷移部とを別々にモデル化するデータ
構造を有し、前記データ構造を用いて、前記第１の遷移
部および前記第２の遷移部の１つに対応する前記時系列
データの１部分を破棄するステップを含んでいてもよ
い。
なす状態遷移部と、前記中心の核をなす状態遷移部に先
行する第１の遷移部と、前記中心の核をなす状態遷移部
に後続する第２の遷移部とを別々にモデル化するデータ
構造を有し、前記データ構造を用いて、前記第１の遷移
部および前記第２の遷移部の１つに対応する前記時系列
データの１部分を破棄するステップを含んでいてもよ
い。
【００２７】本発明は統計的モデル化技術を利用するこ
とにより、音声単位内で中心軌跡領域を識別する。これ
らの領域は最適な重複境界を識別するのに用いられる。
好ましい本実施の形態では、時系列データが、隠れマル
コフモデルを用いて統計的にモデル化される。隠れマル
コフモデルは、各音声単位の音素領域上に構築され、学
習または埋め込み（embedded）再評価を経て整列（alig
n）される。
とにより、音声単位内で中心軌跡領域を識別する。これ
らの領域は最適な重複境界を識別するのに用いられる。
好ましい本実施の形態では、時系列データが、隠れマル
コフモデルを用いて統計的にモデル化される。隠れマル
コフモデルは、各音声単位の音素領域上に構築され、学
習または埋め込み（embedded）再評価を経て整列（alig
n）される。
【００２８】好ましい実施の形態では、各音声単位の最
初と最後の音素は３要素からなると考えられる。すなわ
ち中心の核をなす状態遷移部（中心軌跡：nuclear traj
ectory）、中心の核をなす状態遷移部に先行する遷移部
および中心の核をなす状態遷移部に後続する遷移部であ
る。モデル化プロセスはこれらの３要素を最適に識別
し、それにより中心の核をなす状態遷移部は問題となる
音素のすべてのインスタンスに対して、相対的な整合を
維持する。
初と最後の音素は３要素からなると考えられる。すなわ
ち中心の核をなす状態遷移部（中心軌跡：nuclear traj
ectory）、中心の核をなす状態遷移部に先行する遷移部
および中心の核をなす状態遷移部に後続する遷移部であ
る。モデル化プロセスはこれらの３要素を最適に識別
し、それにより中心の核をなす状態遷移部は問題となる
音素のすべてのインスタンスに対して、相対的な整合を
維持する。
【００２９】識別された中心の核をなす状態遷移部を用
いると、中心の核をなす状態遷移部の先頭境界および終
端境界は重複領域を画定する。重複領域はその後、連結
合成に用いられる。
いると、中心の核をなす状態遷移部の先頭境界および終
端境界は重複領域を画定する。重複領域はその後、連結
合成に用いられる。
【００３０】好ましい本実施の形態では、母音の中心の
核をなす状態遷移部、中心の核をなす状態遷移部に先行
する第１の遷移部、および中心の核をなす状態遷移部に
後続する第２の遷移部を別個にモデル化するためのデー
タ構造を有する統計的モデルを利用する。データ構造
は、音声単位データの一部分を破棄にするのに用いられ
る。音声単位データの一部分のデータは、連結プロセス
の間には用いられない音声単位の部分に対応する。
核をなす状態遷移部、中心の核をなす状態遷移部に先行
する第１の遷移部、および中心の核をなす状態遷移部に
後続する第２の遷移部を別個にモデル化するためのデー
タ構造を有する統計的モデルを利用する。データ構造
は、音声単位データの一部分を破棄にするのに用いられ
る。音声単位データの一部分のデータは、連結プロセス
の間には用いられない音声単位の部分に対応する。
【００３１】本発明には多数の利点および使用法が存在
するが、本発明は、連結型音声合成システムに用いられ
る音声単位データベースの自動構築の基礎として用いる
ことができる。自動化技術は、導き出された合成音声の
品質を向上し、データベース収集プロセスにおける労力
を大幅に削減することができる。
するが、本発明は、連結型音声合成システムに用いられ
る音声単位データベースの自動構築の基礎として用いる
ことができる。自動化技術は、導き出された合成音声の
品質を向上し、データベース収集プロセスにおける労力
を大幅に削減することができる。
【００３２】音声信号パラメータは、同じ母音を含む、
異なる音声単位に対応する時系列データから抽出され
る。抽出されたパラメータは、隠れマルコフモデルとい
った統計的モデルを学習するのに用いられる。統計的モ
デルは、母音の中心の核をなす状態遷移部と、その周り
の遷移部とを別々にモデル化するデータ構造を有する。
このモデルは、埋め込み再評価を経て学習され、中心の
核をなす状態遷移部を識別する最適に整列されたモデル
を決定する。中心の核をなす状態遷移部の境界は、後の
音声単位との連結のために重複領域を定めるよう機能す
る。
異なる音声単位に対応する時系列データから抽出され
る。抽出されたパラメータは、隠れマルコフモデルとい
った統計的モデルを学習するのに用いられる。統計的モ
デルは、母音の中心の核をなす状態遷移部と、その周り
の遷移部とを別々にモデル化するデータ構造を有する。
このモデルは、埋め込み再評価を経て学習され、中心の
核をなす状態遷移部を識別する最適に整列されたモデル
を決定する。中心の核をなす状態遷移部の境界は、後の
音声単位との連結のために重複領域を定めるよう機能す
る。
【００３３】
【発明の実施の形態】本発明は、以下の添付の図面を参
照して説明される。
照して説明される。
【００３４】本発明により利用される技術をもっともよ
く理解するためには、連結合成の基本的な理解が必要で
ある。図１は、例を通した連結合成プロセスを示す。こ
の例では、異なる２つの語からの音声単位（この場合は
音節）が連結され、第３の語を形成する。より具体的に
は、「suffice」および「tight」という語からの音声単
位が組み合わされ、新たな「fight」という語が合成さ
れる。
く理解するためには、連結合成の基本的な理解が必要で
ある。図１は、例を通した連結合成プロセスを示す。こ
の例では、異なる２つの語からの音声単位（この場合は
音節）が連結され、第３の語を形成する。より具体的に
は、「suffice」および「tight」という語からの音声単
位が組み合わされ、新たな「fight」という語が合成さ
れる。
【００３５】図１を参照して、「suffice」および「tig
ht」という語からの時系列データが、好ましくは音節の
境界で抽出され、音声単位１０、１２を規定する。この
場合、音声単位１０は１４においてさらに細分割され、
連結に必要な関連部分を分離する。
ht」という語からの時系列データが、好ましくは音節の
境界で抽出され、音声単位１０、１２を規定する。この
場合、音声単位１０は１４においてさらに細分割され、
連結に必要な関連部分を分離する。
【００３６】その後、音声単位は１６で整列され、それ
により各部分１８および２０により規定される重複領域
が作られる。整列後、時系列データがマージされ、新た
な語２２が合成される。
により各部分１８および２０により規定される重複領域
が作られる。整列後、時系列データがマージされ、新た
な語２２が合成される。
【００３７】本発明は特に、重複領域１６と最適部分１
８、２０に関連し、ある音声単位から別の音声単位まで
の遷移をシームレスで、かつ歪みがないようにする。
８、２０に関連し、ある音声単位から別の音声単位まで
の遷移をシームレスで、かつ歪みがないようにする。
【００３８】本発明は、自動化された手順を経てこの最
適な重複を実現する。この手順では、母音内で中心の核
をなす（中心軌跡：nuclear trajectory）領域が探し出
される（なお、「中心軌跡」の「軌跡」とは、本明細書
において、目標周波数に向かって変化する概念を表すの
に用いられる）。ここで母音内で「中心の核をなす」領
域とは、母音の中心にある、安定した領域をいう。音声
波形は、それを構成するフォーマット周波数によって表
すことができる。これらの周波数は、ある音節が次の音
節に融和して発音されると一定の変化を生じる。伝統的
には、発声は、安定した目標周波数に向かって変化する
これらのフォーマット周波数を利用して、典型的には母
音を利用してなされている。このとき周波数の波形は、
直ちにより安定した波形になる。本明細書で母音内で
「中心の核をなす」とは、母音によって占められる、中
心にある安定した領域をいう。音声信号は、動的ではあ
るが同じ音素の異なる例に対しては相対的に変化がない
動的パターンに続く。母音の境界領域は、隣接する子音
によって影響を受けるが、中心にある安定した領域は強
く影響を受けない。
適な重複を実現する。この手順では、母音内で中心の核
をなす（中心軌跡：nuclear trajectory）領域が探し出
される（なお、「中心軌跡」の「軌跡」とは、本明細書
において、目標周波数に向かって変化する概念を表すの
に用いられる）。ここで母音内で「中心の核をなす」領
域とは、母音の中心にある、安定した領域をいう。音声
波形は、それを構成するフォーマット周波数によって表
すことができる。これらの周波数は、ある音節が次の音
節に融和して発音されると一定の変化を生じる。伝統的
には、発声は、安定した目標周波数に向かって変化する
これらのフォーマット周波数を利用して、典型的には母
音を利用してなされている。このとき周波数の波形は、
直ちにより安定した波形になる。本明細書で母音内で
「中心の核をなす」とは、母音によって占められる、中
心にある安定した領域をいう。音声信号は、動的ではあ
るが同じ音素の異なる例に対しては相対的に変化がない
動的パターンに続く。母音の境界領域は、隣接する子音
によって影響を受けるが、中心にある安定した領域は強
く影響を受けない。
【００３９】これらの最適な重複領域を改良するための
手順が、図２に示される。まず、音声単位のデータベー
ス３０が提供されている。データベース３０は時系列デ
ータを含んでおり、時系列データは、連結合成システム
を構成する異なる音声単位に対応する。好ましい本実施
の形態では、音声単位は発声された語の例の中から抽出
される。発声された語の例は、後に音節境界でさらに分
割される。図２では、図解的に音声単位３２，３４が描
かれている。音声単位３２は「tight」という語から抽
出され、音声単位３４は「suffice」という語から抽出
されている。
手順が、図２に示される。まず、音声単位のデータベー
ス３０が提供されている。データベース３０は時系列デ
ータを含んでおり、時系列データは、連結合成システム
を構成する異なる音声単位に対応する。好ましい本実施
の形態では、音声単位は発声された語の例の中から抽出
される。発声された語の例は、後に音節境界でさらに分
割される。図２では、図解的に音声単位３２，３４が描
かれている。音声単位３２は「tight」という語から抽
出され、音声単位３４は「suffice」という語から抽出
されている。
【００４０】データベース３０に格納されている時系列
データはまず、３６においてパラメータ化される。概し
て、音声単位は任意の方法論を用いてパラメータ化でき
る。好ましい本実施の形態では、各音声単位内で音素領
域をフォルマント解析してパラメータ化を行う。フォル
マント解析は、必然的に音声フォルマント周波数の抽出
を伴う。本実施の形態ではフォルマント周波数Ｆ１、Ｆ
２およびＦ３が抽出される。必要であれば、ＲＭＳ信号
レベルもまたパラメータ化できる。
データはまず、３６においてパラメータ化される。概し
て、音声単位は任意の方法論を用いてパラメータ化でき
る。好ましい本実施の形態では、各音声単位内で音素領
域をフォルマント解析してパラメータ化を行う。フォル
マント解析は、必然的に音声フォルマント周波数の抽出
を伴う。本実施の形態ではフォルマント周波数Ｆ１、Ｆ
２およびＦ３が抽出される。必要であれば、ＲＭＳ信号
レベルもまたパラメータ化できる。
【００４１】現在のところはフォルマント解析が好まし
いが、パラメータ化の他の形態もまた利用できる。例え
ば、音声の特徴抽出は線形予測コーディング（Linear P
redictive Coding：ＬＰＣ）などの手順を用いて行い、
適切な特徴パラメータを識別し、抽出できる。
いが、パラメータ化の他の形態もまた利用できる。例え
ば、音声の特徴抽出は線形予測コーディング（Linear P
redictive Coding：ＬＰＣ）などの手順を用いて行い、
適切な特徴パラメータを識別し、抽出できる。
【００４２】適切なパラメータが抽出され、各音声単位
の音素領域が表されると、３８で示されるようにモデル
が構築され、各単位の音素領域が表される。好ましい本
実施の形態はこの目的のために隠れマルコフモデルを用
いる。しかし、概して時変または動的挙動を表す、適切
な任意の統計的モデルを用いることができる。例えば、
リカレントニューラルネットワークモデルを利用でき
る。
の音素領域が表されると、３８で示されるようにモデル
が構築され、各単位の音素領域が表される。好ましい本
実施の形態はこの目的のために隠れマルコフモデルを用
いる。しかし、概して時変または動的挙動を表す、適切
な任意の統計的モデルを用いることができる。例えば、
リカレントニューラルネットワークモデルを利用でき
る。
【００４３】好ましい本実施の形態は、音素領域を３つ
の異なる中間領域に分割してモデル化する。これらの領
域は４０で示されており、中心の核をなす状態遷移部
（中心の核をなす領域）４２と、中心の核をなす状態遷
移部４２に先行する状態遷移部（先行状態遷移領域）４
４と、中心の核をなす状態遷移部４２に後続する状態遷
移部（後続状態遷移領域）４６とを含む。好ましい実施
の形態では、これらの３領域の各々について別々の隠れ
マルコフモデルを用いる。先行および後続の状態遷移部
４４、４６には、３状態モデルが用いられる。一方、中
心の核をなす状態遷移部４２には４または５状態モデル
が用いられる。図２には５状態モデルが示されている。
より大きな状態数を中心の核をなす状態遷移部４２に用
いると、後の手順は、整合のある非ヌル中心軌線に収束
する。
の異なる中間領域に分割してモデル化する。これらの領
域は４０で示されており、中心の核をなす状態遷移部
（中心の核をなす領域）４２と、中心の核をなす状態遷
移部４２に先行する状態遷移部（先行状態遷移領域）４
４と、中心の核をなす状態遷移部４２に後続する状態遷
移部（後続状態遷移領域）４６とを含む。好ましい実施
の形態では、これらの３領域の各々について別々の隠れ
マルコフモデルを用いる。先行および後続の状態遷移部
４４、４６には、３状態モデルが用いられる。一方、中
心の核をなす状態遷移部４２には４または５状態モデル
が用いられる。図２には５状態モデルが示されている。
より大きな状態数を中心の核をなす状態遷移部４２に用
いると、後の手順は、整合のある非ヌル中心軌線に収束
する。
【００４４】まず、音声モデル４０が平均的な初期値で
設けられる。その後、４８で示されたこれらのモデルに
関して、埋め込み（embedded）再評価が行われる。再評
価とは、実質的には学習プロセスを継続することであ
る。学習プロセスによりモデルは最適化されて、時系列
データ内でもっともよい繰り返しシーケンスを表す。繰
り返しシーケンスとは、母音内で中心にある安定した領
域に関連する時系列データが呈する、より規則的な反復
パターンのシーケンスをいう。これは、音声データが時
系列データとして表されたときに、子音に対応する音声
部分が規則性をもって反復しない非常に無秩序なパター
ンを呈しやすいこととは対照的である。したがって、母
音が発生される度に繰り返して生じやすい時系列データ
内のパターンは、母音領域内で識別できる。時系列デー
タの繰り返しシーケンスは、識別されて所与の母音に対
応する発声部分の識別手段として用いられる。例えば、
音節「ya」の終端における母音音声は、音節「a」の統
計的パターンと非常に関連のある統計的パターンを呈す
る。同じ統計的パターンは、例えば、音節「ka」、「m
a」、「ha」内の安定領域において見出すことができ
る。対照的に、安定的な母音領域に先行する音節部分で
は、統計的な関連がない場合が多く、したがって識別可
能な繰り返しパターンも存在しない。さらなる例示のた
めに、時系列データが統計モデルを学習するのに用いら
れ、各モデルがパラメータの組を規定すると仮定する。
モデルを学習させた後、母音音声「ａ」はパラメータ番
号のシーケンス：４−５−３．１−６に対応する。母音
が存在するたびに同一の番号のパターンが発生している
とすると、そのパターンは、その母音が存在することを
示すのに信頼性高く利用できる繰り返しシーケンスを構
成する。本発明では、子音、または安定的な母音に融和
する音声などの他の音声は、非常に繰り返しのあるシー
ケンスを生成することが統計的に存在しないと判断す
る。したがって、発せられた音声内に安定した母音領域
があることを検出する手段として、非常によく反復する
シーケンス（繰り返しシーケンス）を見つけ出す。
設けられる。その後、４８で示されたこれらのモデルに
関して、埋め込み（embedded）再評価が行われる。再評
価とは、実質的には学習プロセスを継続することであ
る。学習プロセスによりモデルは最適化されて、時系列
データ内でもっともよい繰り返しシーケンスを表す。繰
り返しシーケンスとは、母音内で中心にある安定した領
域に関連する時系列データが呈する、より規則的な反復
パターンのシーケンスをいう。これは、音声データが時
系列データとして表されたときに、子音に対応する音声
部分が規則性をもって反復しない非常に無秩序なパター
ンを呈しやすいこととは対照的である。したがって、母
音が発生される度に繰り返して生じやすい時系列データ
内のパターンは、母音領域内で識別できる。時系列デー
タの繰り返しシーケンスは、識別されて所与の母音に対
応する発声部分の識別手段として用いられる。例えば、
音節「ya」の終端における母音音声は、音節「a」の統
計的パターンと非常に関連のある統計的パターンを呈す
る。同じ統計的パターンは、例えば、音節「ka」、「m
a」、「ha」内の安定領域において見出すことができ
る。対照的に、安定的な母音領域に先行する音節部分で
は、統計的な関連がない場合が多く、したがって識別可
能な繰り返しパターンも存在しない。さらなる例示のた
めに、時系列データが統計モデルを学習するのに用いら
れ、各モデルがパラメータの組を規定すると仮定する。
モデルを学習させた後、母音音声「ａ」はパラメータ番
号のシーケンス：４−５−３．１−６に対応する。母音
が存在するたびに同一の番号のパターンが発生している
とすると、そのパターンは、その母音が存在することを
示すのに信頼性高く利用できる繰り返しシーケンスを構
成する。本発明では、子音、または安定的な母音に融和
する音声などの他の音声は、非常に繰り返しのあるシー
ケンスを生成することが統計的に存在しないと判断す
る。したがって、発せられた音声内に安定した母音領域
があることを検出する手段として、非常によく反復する
シーケンス（繰り返しシーケンス）を見つけ出す。
【００４５】中心の核をなす状態遷移部４２、先行およ
び後続の状態遷移部４４，４６は、データベース３０を
介して供給される現実のデータに基づいて、学習プロセ
スにより各音素領域に整合するモデルが構築されるよう
設計される。この点に関して、中心の核をなす部分４２
は母音の核心を表し、先行および後続の状態遷移部４
４，４６は、現在の音素および現在の音素に先行するお
よび後続する音声に固有の母音の相を表す。例えば、
「tight」という語から抽出された音声単位３２では、
先行する遷移部は、前にある子音字「t」により母音「a
y」の音声に与えられた音調（coloration）を表す。
び後続の状態遷移部４４，４６は、データベース３０を
介して供給される現実のデータに基づいて、学習プロセ
スにより各音素領域に整合するモデルが構築されるよう
設計される。この点に関して、中心の核をなす部分４２
は母音の核心を表し、先行および後続の状態遷移部４
４，４６は、現在の音素および現在の音素に先行するお
よび後続する音声に固有の母音の相を表す。例えば、
「tight」という語から抽出された音声単位３２では、
先行する遷移部は、前にある子音字「t」により母音「a
y」の音声に与えられた音調（coloration）を表す。
【００４６】整合プロセスは本来、最適な整列モデルに
収束する。どのようしてそのようになるのかを理解する
ために、音声単位３０のデータベースが、少なくとも２
つ、好ましくは多数の各母音の音声の例を含むとする。
例えば図２には、「tight」および「suffice」の双方に
見受けられる母音の音声「ay」が、音声単位３２、３４
により表されている。埋め込み再評価プロセスまたは学
習プロセスは、音声「ay」のこのような複数のインスタ
ンスを用いて初期音声モデル４０の学習を行い、それに
より最適に整列された音声モデル５０を生成する。音声
「ay」の例のすべてにわたって整合のある時系列データ
の部分は、中核、または中心の核をなす領域を表す。５
０で図示されるように、システムは、先行および後続の
状態遷移部を別々に学習する。これらは、母音に先行す
るおよび後続する音声に依存して当然に異なっている。
収束する。どのようしてそのようになるのかを理解する
ために、音声単位３０のデータベースが、少なくとも２
つ、好ましくは多数の各母音の音声の例を含むとする。
例えば図２には、「tight」および「suffice」の双方に
見受けられる母音の音声「ay」が、音声単位３２、３４
により表されている。埋め込み再評価プロセスまたは学
習プロセスは、音声「ay」のこのような複数のインスタ
ンスを用いて初期音声モデル４０の学習を行い、それに
より最適に整列された音声モデル５０を生成する。音声
「ay」の例のすべてにわたって整合のある時系列データ
の部分は、中核、または中心の核をなす領域を表す。５
０で図示されるように、システムは、先行および後続の
状態遷移部を別々に学習する。これらは、母音に先行す
るおよび後続する音声に依存して当然に異なっている。
【００４７】一旦モデルが学習され、最適に整列された
モデルを生成すると、中心の核をなす領域４２の両側の
境界が確定し、連結合成のための重複領域の位置が決定
される。そのため、ステップ５２では最適に整列された
モデルが重複境界を決定するのに用いられる。図２は、
重複境界ＡおよびＢを示す。重複境界ＡおよびＢは、
「suffice」および「tight」という語から導かれた音声
単位に対するフォルマント周波数データに重ね合わされ
ている。
モデルを生成すると、中心の核をなす領域４２の両側の
境界が確定し、連結合成のための重複領域の位置が決定
される。そのため、ステップ５２では最適に整列された
モデルが重複境界を決定するのに用いられる。図２は、
重複境界ＡおよびＢを示す。重複境界ＡおよびＢは、
「suffice」および「tight」という語から導かれた音声
単位に対するフォルマント周波数データに重ね合わされ
ている。
【００４８】パラメータデータ（この場合はフォルマン
ト周波数データ）で識別された重複境界により、システ
ムはステップ５４において時系列データを分類して時系
列データ内の重複境界を定める。必要であれば、分類さ
れたデータは連結型音声合成について後に使用するため
に、データベース３０に格納してもよい。
ト周波数データ）で識別された重複境界により、システ
ムはステップ５４において時系列データを分類して時系
列データ内の重複境界を定める。必要であれば、分類さ
れたデータは連結型音声合成について後に使用するため
に、データベース３０に格納してもよい。
【００４９】図示の関係上、オーバレイテンプレート５
６として模式的に示されている重複境界領域が、「suff
ice」という語の時系列データの模式的表現に重ね合わ
されて示されている。具体的には、テンプレート５６
は、後半の音節「...fice」内で括弧５８によって示す
ように整列されている。この音声単位が連結音声に用い
られると、先行領域６２は破棄され、境界ＡおよびＢに
より定められている中心の核をなす領域６４は、クロス
フェード領域または連結領域として働く。
６として模式的に示されている重複境界領域が、「suff
ice」という語の時系列データの模式的表現に重ね合わ
されて示されている。具体的には、テンプレート５６
は、後半の音節「...fice」内で括弧５８によって示す
ように整列されている。この音声単位が連結音声に用い
られると、先行領域６２は破棄され、境界ＡおよびＢに
より定められている中心の核をなす領域６４は、クロス
フェード領域または連結領域として働く。
【００５０】ある実施形態では、連結合成を行うため
に、重複領域の継続時間を調整する必要がある。このプ
ロセスが図３に示される。入力テキスト７０が解析さ
れ、ステップ７２に示されるようにデータベース３０か
ら適切な音声単位が選択される。例えば、「fight」と
いう語が入力テキストとして与えられると、システムは
「tight」および「suffice」という語から抽出した、あ
らかじめ格納してある音声単位を選択する。
に、重複領域の継続時間を調整する必要がある。このプ
ロセスが図３に示される。入力テキスト７０が解析さ
れ、ステップ７２に示されるようにデータベース３０か
ら適切な音声単位が選択される。例えば、「fight」と
いう語が入力テキストとして与えられると、システムは
「tight」および「suffice」という語から抽出した、あ
らかじめ格納してある音声単位を選択する。
【００５１】各音声単位の中心の核をなす領域は必ずし
も同じ時間にわたっている必要はない。そのためステッ
プ７４では、各中心の核をなす領域の継続時間が伸張ま
たは短縮され、それにより継続時間を一致させる。図３
では、中心の核をなす領域６４ａが領域６４ｂに伸張さ
れる。音声単位Ｂも同様に変更される。図３は中心の核
をなす領域６４ｃが領域６４ｄに圧縮され、それにより
２つの単位の各領域が同じ継続時間を持つことになる。
も同じ時間にわたっている必要はない。そのためステッ
プ７４では、各中心の核をなす領域の継続時間が伸張ま
たは短縮され、それにより継続時間を一致させる。図３
では、中心の核をなす領域６４ａが領域６４ｂに伸張さ
れる。音声単位Ｂも同様に変更される。図３は中心の核
をなす領域６４ｃが領域６４ｄに圧縮され、それにより
２つの単位の各領域が同じ継続時間を持つことになる。
【００５２】一旦継続時間が調整されて一致すると、ス
テップ７６において、音声単位からのデータがマージさ
れて、７８で示される新しく連結された単語を形成す
る。
テップ７６において、音声単位からのデータがマージさ
れて、７８で示される新しく連結された単語を形成す
る。
【００５３】
【発明の効果】これまでの説明によれば、本発明は連結
型音声合成システムに用いられる音声単位データベース
を構築する自動化手段を提供することが理解される。中
心の核をなす領域を分離することによって、このシステ
ムは、シームレスで、かつ歪みのない重複を与える。有
利なのは、重複領域は共通の固定サイズに伸張または圧
縮され、連結プロセスを簡単化できることである。統計
的モデル化プロセスを用いることで、中心の核をなす領
域は音声信号の１部分を表すことができる。ここでは、
音響学上の音声特性は、同じ音素の異なる例に対しては
相対的に変化がない動的パターンを生じる結果となる。
変化がないことにより、シームレスで、かつ歪みのない
遷移が可能になる。
型音声合成システムに用いられる音声単位データベース
を構築する自動化手段を提供することが理解される。中
心の核をなす領域を分離することによって、このシステ
ムは、シームレスで、かつ歪みのない重複を与える。有
利なのは、重複領域は共通の固定サイズに伸張または圧
縮され、連結プロセスを簡単化できることである。統計
的モデル化プロセスを用いることで、中心の核をなす領
域は音声信号の１部分を表すことができる。ここでは、
音響学上の音声特性は、同じ音素の異なる例に対しては
相対的に変化がない動的パターンを生じる結果となる。
変化がないことにより、シームレスで、かつ歪みのない
遷移が可能になる。
【００５４】本発明の原理により生成された音声単位
は、コンピュータ処理システムにかける負担を最小にし
て、後の抽出および連結に用いるデータベースに容易に
格納できる。したがって、このシステムは、処理能力が
制限されている合成音声に関する製品および応用の開発
には理想的といえる。さらに、音声単位を生成する自動
化プロセスは、目的が特化された音声単位データベース
を構築するのに必要な時間と労力を大幅に減少させる。
例えば音声単位を生成する自動化プロセスは、専門的な
ボキャブラリに対して、または多言語音声合成システム
の開発に対して必要とされるであろう。
は、コンピュータ処理システムにかける負担を最小にし
て、後の抽出および連結に用いるデータベースに容易に
格納できる。したがって、このシステムは、処理能力が
制限されている合成音声に関する製品および応用の開発
には理想的といえる。さらに、音声単位を生成する自動
化プロセスは、目的が特化された音声単位データベース
を構築するのに必要な時間と労力を大幅に減少させる。
例えば音声単位を生成する自動化プロセスは、専門的な
ボキャブラリに対して、または多言語音声合成システム
の開発に対して必要とされるであろう。
【００５５】現時点での好ましい形態で本発明を説明し
てきたが、当業者であれば、特許請求の範囲に記載され
た本発明の精神から逸脱することなく本システムを修正
できる。
てきたが、当業者であれば、特許請求の範囲に記載され
た本発明の精神から逸脱することなく本システムを修正
できる。
【図１】 連結型音声を合成する技術の理解に有用なブ
ロック図である。
ロック図である。
【図２】 本発明による、音声単位が構築される手順を
示すフローチャートである。
示すフローチャートである。
【図３】 本発明の音声単位データベースを用いた、連
結型音声を合成するプロセスを示すブロック図である。
結型音声を合成するプロセスを示すブロック図である。
４０ 音声モデル ４２ 中心の核をなす状態遷移部 ４４ 先行状態遷移部 ４６ 後続状態遷移部 ５０ 音声モデル ５６ オーバレイテンプレート ６２ 先行領域 ６４ 中心の核をなす領域
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 5/04 Ｄ
Claims (15)
- 【請求項１】 音声の時変特性を表す統計モデルを画定
するステップと、 同じ母音を含む異なる音声単位に対応する複数の時系列
データを提供するステップと、 前記時系列データから音声信号パラメータを抽出し、前
記音声信号パラメータを用いて前記統計モデルを学習す
るステップと、 学習させた前記統計モデルを用いて前記時系列データ内
の繰り返しシーケンスを識別し、前記繰り返しシーケン
スを前記母音の中心の核をなす状態遷移部と関連付ける
ステップと、 前記繰り返しシーケンスを用いて、連結型音声合成のた
めの単位重複領域を定めるステップとからなる、連結型
音声合成のための単位重複領域の識別方法。 - 【請求項２】 前記統計モデルは隠れマルコフモデルで
ある、請求項１に記載の方法。 - 【請求項３】 前記統計モデルはリカレントニューラル
ネットワークである、請求項１に記載の方法。 - 【請求項４】 前記音声信号パラメータは音声フォルマ
ントを含む、請求項１に記載の方法。 - 【請求項５】 前記統計モデルは、前記母音の中心の核
をなす状態遷移部と、前記中心の核をなす状態遷移部の
周囲の遷移部とを別々にモデル化するデータ構造を有す
る、請求項１に記載の方法。 - 【請求項６】 統計モデルを学習する前記ステップは、
埋め込み再評価により行われ、前記時系列データによっ
て表される全データセットにわたって整列のために収束
したモデルを生成する請求項１に記載の方法。 - 【請求項７】 前記統計モデルは、前記母音の中心の核
をなす状態遷移部と、前記中心の核をなす状態遷移部に
先行する第１の遷移部と、前記中心軌線領域に後続する
第２の遷移部とを別々にモデル化するデータ構造を有
し、 前記データ構造を用いて、前記第１の遷移部および前記
第２の遷移部の１つに対応する前記時系列データの１部
分を破棄するステップを含む、請求項１に記載の方法。 - 【請求項８】 音声の時変特性を表す統計モデルを画定
するステップと、 同じ母音を含む異なる音声単位に対応する複数の時系列
データを提供するステップと、 前記時系列データから音声信号パラメータを抽出し、前
記音声信号パラメータを用いて前記統計モデルを学習す
るステップと、 学習させた前記統計モデルを用いて前記時系列データ内
の繰り返しシーケンスを識別し、前記繰り返しシーケン
スを前記母音の中心の核をなす状態遷移部と関連付ける
ステップと、 前記繰り返しシーケンスを用いて、連結型音声合成のた
めの単位重複領域を定めるステップと、 前記音声単位の各単位重複領域に基づいて、２つの異な
る前記音声単位からの前記時系列データを重複させ、マ
ージすることにより、新たな音声単位を連結して合成す
るステップとからなる、連結型音声合成方法。 - 【請求項９】 前記合成するステップを行う前に、前記
単位重複領域の少なくとも１つの継続時間を選択的に変
化させて、前記単位重複領域の他方の継続時間に一致さ
せるステップをさらに含む、請求項８に記載の方法。 - 【請求項１０】 前記統計モデルは隠れマルコフモデル
である、請求項８に記載の方法。 - 【請求項１１】 前記統計モデルはリカレントニューラ
ルネットワークである、請求項８に記載の方法。 - 【請求項１２】 前記音声信号パラメータは音声フォル
マントを含む、請求項８に記載の方法。 - 【請求項１３】 前記統計モデルは、前記母音の中心の
核をなす状態遷移部と、前記中心の核をなす状態遷移部
の周囲の遷移部とを別々にモデル化するデータ構造を有
する、請求項８に記載の方法。 - 【請求項１４】 統計モデルを学習する前記ステップ
は、埋め込み再評価により行われ、前記時系列データに
よって表される全データセットにわたって整列のために
収束したモデルを生成する請求項８に記載の方法。 - 【請求項１５】 前記統計モデルは、前記母音の中心の
核をなす状態遷移部と、前記中心の核をなす状態遷移部
に先行する第１の遷移部と、前記中心の核をなす状態遷
移部に後続する第２の遷移部とを別々にモデル化するデ
ータ構造を有し、 前記データ構造を用いて、前記第１の遷移部および前記
第２の遷移部の１つに対応する前記時系列データの１部
分を破棄するステップを含む、請求項８に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/264981 | 1999-03-09 | ||
| US09/264,981 US6202049B1 (en) | 1999-03-09 | 1999-03-09 | Identification of unit overlap regions for concatenative speech synthesis system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000310997A true JP2000310997A (ja) | 2000-11-07 |
| JP3588302B2 JP3588302B2 (ja) | 2004-11-10 |
Family
ID=23008465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000065106A Expired - Fee Related JP3588302B2 (ja) | 1999-03-09 | 2000-03-09 | 連結型音声合成のための単位重複領域の識別方法および連結型音声合成方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6202049B1 (ja) |
| EP (1) | EP1035537B1 (ja) |
| JP (1) | JP3588302B2 (ja) |
| CN (1) | CN1158641C (ja) |
| DE (1) | DE60004420T2 (ja) |
| ES (1) | ES2204455T3 (ja) |
| TW (1) | TW466470B (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058306A (ja) * | 2010-09-06 | 2012-03-22 | Yamaha Corp | 音合成用確率モデル生成装置および特徴量軌跡生成装置 |
| US9015095B2 (en) | 2012-01-25 | 2015-04-21 | Fujitsu Limited | Neural network designing method and digital-to-analog fitting method |
| JP2021526259A (ja) * | 2018-05-30 | 2021-09-30 | クアンタム−エスアイ インコーポレイテッドＱｕａｎｔｕｍ−Ｓｉ Ｉｎｃｏｒｐｏｒａｔｅｄ | 訓練された統計モデルを使用するマルチモーダル予測のための方法および装置 |
| US11875267B2 (en) | 2018-05-14 | 2024-01-16 | Quantum-Si Incorporated | Systems and methods for unifying statistical models for different data modalities |
| US11967436B2 (en) | 2018-05-30 | 2024-04-23 | Quantum-Si Incorporated | Methods and apparatus for making biological predictions using a trained multi-modal statistical model |
| US11971963B2 (en) | 2018-05-30 | 2024-04-30 | Quantum-Si Incorporated | Methods and apparatus for multi-modal prediction using a trained statistical model |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7369994B1 (en) | 1999-04-30 | 2008-05-06 | At&T Corp. | Methods and apparatus for rapid acoustic unit selection from a large speech corpus |
| JP2001034282A (ja) * | 1999-07-21 | 2001-02-09 | Konami Co Ltd | 音声合成方法、音声合成のための辞書構築方法、音声合成装置、並びに音声合成プログラムを記録したコンピュータ読み取り可能な媒体 |
| US7266497B2 (en) | 2002-03-29 | 2007-09-04 | At&T Corp. | Automatic segmentation in speech synthesis |
| EP1860646A3 (en) * | 2002-03-29 | 2008-09-03 | AT&T Corp. | Automatic segmentaion in speech synthesis |
| CN100388357C (zh) * | 2002-09-17 | 2008-05-14 | 皇家飞利浦电子股份有限公司 | 使用语音波形并接的合成语音信号的方法和系统 |
| US7280967B2 (en) * | 2003-07-30 | 2007-10-09 | International Business Machines Corporation | Method for detecting misaligned phonetic units for a concatenative text-to-speech voice |
| US8583439B1 (en) * | 2004-01-12 | 2013-11-12 | Verizon Services Corp. | Enhanced interface for use with speech recognition |
| US20070219799A1 (en) * | 2005-12-30 | 2007-09-20 | Inci Ozkaragoz | Text to speech synthesis system using syllables as concatenative units |
| US9053753B2 (en) * | 2006-11-09 | 2015-06-09 | Broadcom Corporation | Method and system for a flexible multiplexer and mixer |
| CN101178896B (zh) * | 2007-12-06 | 2012-03-28 | 安徽科大讯飞信息科技股份有限公司 | 基于声学统计模型的单元挑选语音合成方法 |
| CA2724753A1 (en) * | 2008-05-30 | 2009-12-03 | Nokia Corporation | Method, apparatus and computer program product for providing improved speech synthesis |
| US8315871B2 (en) * | 2009-06-04 | 2012-11-20 | Microsoft Corporation | Hidden Markov model based text to speech systems employing rope-jumping algorithm |
| US8473431B1 (en) | 2010-05-14 | 2013-06-25 | Google Inc. | Predictive analytic modeling platform |
| US8438122B1 (en) | 2010-05-14 | 2013-05-07 | Google Inc. | Predictive analytic modeling platform |
| US8595154B2 (en) | 2011-01-26 | 2013-11-26 | Google Inc. | Dynamic predictive modeling platform |
| US8533222B2 (en) * | 2011-01-26 | 2013-09-10 | Google Inc. | Updateable predictive analytical modeling |
| US8533224B2 (en) * | 2011-05-04 | 2013-09-10 | Google Inc. | Assessing accuracy of trained predictive models |
| US8489632B1 (en) * | 2011-06-28 | 2013-07-16 | Google Inc. | Predictive model training management |
| JP6524674B2 (ja) * | 2015-01-22 | 2019-06-05 | 富士通株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
| KR20170125366A (ko) * | 2015-05-28 | 2017-11-14 | 미쓰비시덴키 가부시키가이샤 | 입력 표시 장치, 입력 표시 방법, 및 프로그램 |
| CN106611604B (zh) * | 2015-10-23 | 2020-04-14 | 中国科学院声学研究所 | 一种基于深度神经网络的自动语音叠音检测方法 |
| KR102313028B1 (ko) * | 2015-10-29 | 2021-10-13 | 삼성에스디에스 주식회사 | 음성 인식 시스템 및 방법 |
| CN111081231B (zh) | 2016-03-23 | 2023-09-05 | 谷歌有限责任公司 | 用于多声道语音识别的自适应音频增强 |
| US10437929B2 (en) | 2016-03-31 | 2019-10-08 | Maluuba Inc. | Method and system for processing an input query using a forward and a backward neural network specific to unigrams |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5400434A (en) * | 1990-09-04 | 1995-03-21 | Matsushita Electric Industrial Co., Ltd. | Voice source for synthetic speech system |
| KR940002854B1 (ko) * | 1991-11-06 | 1994-04-04 | 한국전기통신공사 | 음성 합성시스팀의 음성단편 코딩 및 그의 피치조절 방법과 그의 유성음 합성장치 |
| US5349645A (en) * | 1991-12-31 | 1994-09-20 | Matsushita Electric Industrial Co., Ltd. | Word hypothesizer for continuous speech decoding using stressed-vowel centered bidirectional tree searches |
| US5490234A (en) * | 1993-01-21 | 1996-02-06 | Apple Computer, Inc. | Waveform blending technique for text-to-speech system |
| US5751907A (en) | 1995-08-16 | 1998-05-12 | Lucent Technologies Inc. | Speech synthesizer having an acoustic element database |
| US5684925A (en) * | 1995-09-08 | 1997-11-04 | Matsushita Electric Industrial Co., Ltd. | Speech representation by feature-based word prototypes comprising phoneme targets having reliable high similarity |
| US5913193A (en) * | 1996-04-30 | 1999-06-15 | Microsoft Corporation | Method and system of runtime acoustic unit selection for speech synthesis |
-
1999
- 1999-03-09 US US09/264,981 patent/US6202049B1/en not_active Expired - Lifetime
-
2000
- 2000-02-29 ES ES00301625T patent/ES2204455T3/es not_active Expired - Lifetime
- 2000-02-29 DE DE60004420T patent/DE60004420T2/de not_active Expired - Fee Related
- 2000-02-29 EP EP00301625A patent/EP1035537B1/en not_active Expired - Lifetime
- 2000-03-09 JP JP2000065106A patent/JP3588302B2/ja not_active Expired - Fee Related
- 2000-03-09 CN CNB001037595A patent/CN1158641C/zh not_active Expired - Fee Related
- 2000-04-10 TW TW089104179A patent/TW466470B/zh not_active IP Right Cessation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012058306A (ja) * | 2010-09-06 | 2012-03-22 | Yamaha Corp | 音合成用確率モデル生成装置および特徴量軌跡生成装置 |
| US9015095B2 (en) | 2012-01-25 | 2015-04-21 | Fujitsu Limited | Neural network designing method and digital-to-analog fitting method |
| US11875267B2 (en) | 2018-05-14 | 2024-01-16 | Quantum-Si Incorporated | Systems and methods for unifying statistical models for different data modalities |
| JP2021526259A (ja) * | 2018-05-30 | 2021-09-30 | クアンタム−エスアイ インコーポレイテッドＱｕａｎｔｕｍ−Ｓｉ Ｉｎｃｏｒｐｏｒａｔｅｄ | 訓練された統計モデルを使用するマルチモーダル予測のための方法および装置 |
| US11967436B2 (en) | 2018-05-30 | 2024-04-23 | Quantum-Si Incorporated | Methods and apparatus for making biological predictions using a trained multi-modal statistical model |
| US11971963B2 (en) | 2018-05-30 | 2024-04-30 | Quantum-Si Incorporated | Methods and apparatus for multi-modal prediction using a trained statistical model |
| JP7490576B2 (ja) | 2018-05-30 | 2024-05-27 | クアンタム－エスアイ インコーポレイテッド | 訓練された統計モデルを使用するマルチモーダル予測のための方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1035537A3 (en) | 2002-04-17 |
| JP3588302B2 (ja) | 2004-11-10 |
| DE60004420T2 (de) | 2004-06-09 |
| TW466470B (en) | 2001-12-01 |
| CN1158641C (zh) | 2004-07-21 |
| CN1266257A (zh) | 2000-09-13 |
| ES2204455T3 (es) | 2004-05-01 |
| EP1035537B1 (en) | 2003-08-13 |
| DE60004420D1 (de) | 2003-09-18 |
| EP1035537A2 (en) | 2000-09-13 |
| US6202049B1 (en) | 2001-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3588302B2 (ja) | 連結型音声合成のための単位重複領域の識別方法および連結型音声合成方法 | |
| US6792407B2 (en) | Text selection and recording by feedback and adaptation for development of personalized text-to-speech systems | |
| US6144939A (en) | Formant-based speech synthesizer employing demi-syllable concatenation with independent cross fade in the filter parameter and source domains | |
| US7979274B2 (en) | Method and system for preventing speech comprehension by interactive voice response systems | |
| US7953600B2 (en) | System and method for hybrid speech synthesis | |
| JP3667950B2 (ja) | ピッチパターン生成方法 | |
| US20060041429A1 (en) | Text-to-speech system and method | |
| US20060100878A1 (en) | Synthesis-based pre-selection of suitable units for concatenative speech | |
| JPH031200A (ja) | 規則型音声合成装置 | |
| CN111223474A (zh) | 一种基于多神经网络的语音克隆方法和系统 | |
| US6546369B1 (en) | Text-based speech synthesis method containing synthetic speech comparisons and updates | |
| JP3910628B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
| Stöber et al. | Speech synthesis using multilevel selection and concatenation of units from large speech corpora | |
| JPH08335096A (ja) | テキスト音声合成装置 | |
| JP2024111781A (ja) | 音声合成システム及び音声合成方法 | |
| EP1589524B1 (en) | Method and device for speech synthesis | |
| EP1640968A1 (en) | Method and device for speech synthesis | |
| JP2577372B2 (ja) | 音声合成装置および方法 | |
| JP3241582B2 (ja) | 韻律制御装置及び方法 | |
| JPH11327594A (ja) | 音声合成辞書作成システム | |
| EP1638080A2 (en) | A text-to-speech system and method | |
| Toman | Transformation and interpolation of language varieties for speech synthesis | |
| STAN | TEZA DE DOCTORAT | |
| HK1090162B (en) | Method and apparatus for preventing speech comprehension by interactive voice response systems | |
| HK1083147B (en) | Method and apparatus for preventing speech comprehension by interactive voice response systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040812 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070820 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |