JP3078205B2 - 波形の連結及び部分的重複化による音声合成方法 - Google Patents

波形の連結及び部分的重複化による音声合成方法

Info

Publication number
JP3078205B2
JP3078205B2 JP07175553A JP17555395A JP3078205B2 JP 3078205 B2 JP3078205 B2 JP 3078205B2 JP 07175553 A JP07175553 A JP 07175553A JP 17555395 A JP17555395 A JP 17555395A JP 3078205 B2 JP3078205 B2 JP 3078205B2
Authority
JP
Japan
Prior art keywords
zero
synthesis
duration
section
decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP07175553A
Other languages
English (en)
Other versions
JPH08110789A (ja
Inventor
エンツオ・フオテイ
ルチアノ・ネツビア
ステフアノ・サンドリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIM SpA
Original Assignee
Telecom Italia Lab SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecom Italia Lab SpA filed Critical Telecom Italia Lab SpA
Publication of JPH08110789A publication Critical patent/JPH08110789A/ja
Application granted granted Critical
Publication of JP3078205B2 publication Critical patent/JP3078205B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/06Elementary speech units used in speech synthesisers; Concatenation rules
    • G10L13/07Concatenation rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L2013/021Overlap-add techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Machine Translation (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Stereophonic System (AREA)
  • Auxiliary Devices For Music (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

【発明の詳細な説明】
【0001】本明細書中で述べられる発明は、音声合成
に関し、そして更に特別には要素の音声単位に関連した
波形の連結を基にした合成方法に関する。好ましくは、
本発明の方法はテキストから音声への合成に適用される
が、必ずしもそうでなくても良い。これらの適用におい
ては、音声信号に変換されるべきテキストをまず、一列
の対応する音素及びそれらに関係した韻律素の特性(継
続時間、強度、及び基本期間)を示す音声の−韻律素の
表現に転換する。次にこの表現を、最も一般的なケース
においては二重音(一つの音素の静止部分から引き続く
音素の静止部分まで広がる声の要素で、音素の間の遷移
部分も含む)から成る、前記要素の単位の語彙から出発
するデジタルの合成音声信号に転換する。イタリア語に
関しては、約千の二重音の語彙が音声の適用範囲を保証
し、イタリア語のためのすべての認められる音を合成す
ることを可能にする。テキストから音声への合成のため
のシステムにおいては、種々の要素の単位を表す波形
の、時間領域における、連結を基にした方法を、音声信
号の生成のために使用することができる。これらの方法
は、非常に柔軟でありそして良好な合成音声品質を保証
する。
【0002】一つの例が、E.Moulines及び
F.Charpentierによって論文“二重音を使
用するテキストから音声への合成のためのピッチ同期波
形処理技術”、Speech Communicati
on、9巻、No.5/6、1990年12月、453
〜467頁中で述べられている。この方法は、合成規則
によって課された韻律素を適用しそして要素の単位の波
形を連結する、PSOLA(ピッチ同期重複及び加算)
として知られている技術を基にしている。元の信号の少
なくとも声に出される分節音に関しては、PSOLA技
術は、ピッチ同期ウインドウイング(windowin
g)を適用して、特にその継続時間が基本期間(ピッチ
期間)のほぼ2倍であるHanningウインドウを使
用して、それによって一列の部分的に重複する短期信号
を発生させることによって分解を実施する。合成相にお
いては、ウインドウイングから生じる信号を、合成のた
めの韻律素の規則によって課された基本期間と時間同期
してシフトさせる。最後に、シフトされた信号を重複さ
せそして加算することによって、合成信号を発生させ
る。コンピュータにまつわる複雑さを減らすために、第
二のステップは、時間領域において直接に実施すること
ができる。元の信号の個々の区間の完全なウインドウイ
ングは、比較的重いコンピュータへの負荷を要求し、そ
して更にまたそれは区間全体にわたって広がる元の信号
の変更を設定し、その結果合成信号はそれだけ自然では
ない音がする。
【0003】本発明によれば、元の信号の各々の区間の
基本情報を含む部分を変えずに残し、そして区間の残り
の部分だけを変える合成方法が提供される。このように
して、区間の主な部分は元の信号の正確な再生であるの
で、処理時間が減らされるばかりでなく、また合成信号
の自然な音出しも改善される。
【0004】それ故、本発明は、声に出される音に関係
する少なくとも波形を、信号の基本振動数と同期して声
帯を刺激する一連の衝撃に対する声管の応答に対応する
複数の区間に分割し;各々の区間中の波形に重みを付
け;重み付けから生じる信号を、韻律素の情報に依存す
る量だけ時間がシフトされた、それらの複製によって置
き換え;そしてシフトされた信号を重複させそして加算
することによって合成を実施する、要素の音声信号単位
を代表する波形の時間連結による音声信号合成方法であ
って、 − 合成において再生されるべき元の信号の現在の区間
を、開始区間と、所定の条件を満たす元の音声信号のゼ
ロ交点によって表される左の分解端との間に横たわる不
変部分、及び左の分解端と、現在の区間の端と本質的に
一致する右の分解端との間に横たわる可変部分に細分し
[ここで、左及び右の分解端は、合成された信号中で、
それぞれ左の及び右の合成端と関連し、左の合成端は、
区間開始マーカに関して、左の分解端と一致し、そして
右の合成端は合成された信号中の区間の終わりと本質的
に一致する]、 − 左と右の合成端の間に横たわる合成された波形の分
節音の継続時間に等しい継続時間並びに次第に減少しそ
して左の分解端と対応して最大である振幅を有する第一
接続関数を、元の信号の現在の区間の左の分解端の右の
波形の部分に適用し、 − 左と右の合成端の間に横たわる合成された波形の分
節音の継続時間と等しい継続時間並びに次第に増加しそ
して前記の引き続く区間の始めと対応して最大である振
幅を有する第二接続関数を、合成的に再生されるべき元
の信号の引き続く区間の左の波形の部分に適用し、そし
て − 各々の区間の合成された信号を、元の区間の不変部
分中の波形を変えずに再生することによって、そして第
一及び第二接続関数の適用から生じる2つの波形を時間
において整列させそして加算することによって得られる
波形をそれに合わせることによって作る方法を提供す
る。
【0005】一層の明確化のために、非限定的な例とし
て与えられる本発明の実施態様を図示する同封の図面を
参照して説明する。本発明を詳細に説明する前に、テキ
ストから音声への合成システムの構成を手短に説明す
る。
【0006】図1中に見ることができるように、第一相
として、書かれたテキストを言語学的処理段階TLに供
給するが、この段階は書かれたテキストを発音可能な形
に変換しそして言語学的な印し、例えば略語、数などの
書き換え、強勢及び文法上の分類規則の適用、特別な語
彙中に含まれる辞書情報VLへのアクセスを加える。引
き続く段階、TFは、綴字法の順序から対応する列の音
声のシンボルへの転写を実施する。一組の韻律素の規則
RPを基にして、韻律素の処理段階TPは、TFを去る
各々の音素のために継続時間及び基本期間(そしてかく
してまた基本振動数)を与える。次に、この情報を予備
合成段階PSに与えるが、この段階は、各々の音素に関
して、音素を形成する音響信号の順序(二重音(dip
hone)データベースVDへのアクセス)並びに、各
々の分節音に関して、基本期間と等しい継続時間を有す
る、幾つのそしてどの区間を使用すべきか(声に出され
る音の場合に)及び合成において帰属されるべき基本期
間の対応する値を決定する。これらの値は、音素の境界
と相応して割り当てられた値を内挿することによって得
られる。それらの中に周期性特性が存在しない声に出さ
れない又は“無音声の”音の場合には、区間は固定され
た継続時間を有する。この情報は、合成信号を発生させ
るために必要とされる変換を実施する真の合成装置SI
NTによって最後に使用される。
【0007】図2は、モジュールPS及びSINTの操
作をより詳細に説明する。入力は、現在の音素識別子F
i によって、音素継続時間Di によって、そして音素の
開始時の基本期間Pi-1 及び音素の終了時のPi の値に
よって、そして前の音素Fi-1 の及び引き続く音素F
i+1 の識別子によって構成される。実施されるべき第一
の操作は、二重音DFi-1 及びDFi を復号すること、
並びに二重音開始及び終了の並びに音素境界のマーカを
検出することである。この情報は、二重音を記憶するデ
ータベース又は語彙から波形及び関連する境界、声に出
される/声に出されないの決定及びピッチのマークを付
ける記述語として直接引き出される。引き続くモジュー
ルは、音素を参照しながら上で述べた記述語を変換す
る。この情報を基にして、リズムのモジュールは、規則
によって課された継続時間Di と音素の本来の継続時間
(語彙中に記憶されそして2つの二重音DFi-1 及びD
i に属する音素の2つの部分の和によって与えられ
る)との間の比を計算する。次に、継続時間の変更を考
慮に入れながら、それは、合成において使用されるべき
区間の数を計算し、そして値Pi-1 とPi との間の内挿
の法則によって、それらの各々に関する基本期間の値を
決定する。次に、基本期間の値は声に出される音のため
にだけ実際には使用され、一方声に出されない音のため
には、上で述べたように、区間は固定された継続時間の
ものであると考えられる。
【0008】実際の合成のためには、操作は、音が声に
出されるか又は声に出されないかに依存して異なる。声
に出されない音の場合には、合成は、韻律素の規則によ
って課された継続時間と本来の継続時間との間の比を基
にした上で述べた区間の単純な時間シフト(長期化又は
短期化)を要求する。声に出される音の場合には、その
代わりに、本発明の方法を適用する。本発明による合成
方法は、声に出される音は、各々が基本期間の値pa
よって規定される一列の疑似期間の区間として考えるこ
とができるという考慮から出発する。これは、二重音
“外1”の波形、個々の区間を分離する関連したマーカ
及び、各々の区間に関して、Hzで表される対応する期
間の値pa を示す図3中に明らかに見られる。図3の2
つのマーカ“v”の間の部分は、音素の右の部分“外
2”に対応し、そして2番目のマーカ“v”と二重音の
終了マーカ“f”との間の部分は、音素の左の部分
“m”に対応する。上で述べた区間は、何ミリセカンド
の間は不動でそして声管に対応する濾波器の衝撃応答と
して考えることができ、そしてこの声管は、ソースの基
本振動数(声帯の振動する振動数)と同期した一列の衝
撃によって刺激される。各々の区間に関して、合成モジ
ュールは、基本期間pa (分解期間)を有する元の信号
を受け取りそして韻律素の規則によって必要とされる期
間ps (合成期間)によって変更された信号を供給する
とされる。
【0009】
【外1】
【外2】
【0010】各々の音声区間を特性決定する必須の情報
は刺激衝撃のすぐ後に続く信号部分(応答の主な部分)
中に含まれていて、一方応答それ自体は、衝撃位置から
の距離が増加するにつれてそれだけ小さくなりそしてそ
れだけ重要でなくなる。これを考慮に入れると、本発明
による合成方法においては、この主な部分をできる限り
変えずに維持し、そして韻律素の規則によって必要とさ
れる期間の長期化又は短期化は、残りの部分に作用する
ことによって得る。この目的のために、不変及び可変部
分を次に各々の区間において識別し、そして後者だけを
接続、重複及び加算操作中に含める。元の信号の不変部
分は一定ではなく、むしろそれは、各々の区間に関し
て、ps とpa の間の比に依存する。この不変部分は、
区間開始マーカと所謂左の分解端bsaとの間に横たわ
る。端bsaは、元の音声信号のゼロ交点の一つであり、
後で更に説明するそして合成期間が分解期間よりも長い
か、短いか又は等しいかに依存して異なり得る基準によ
って識別される。可変部分は、左の分解端bsaによっ
て、そして区間の終了と、特に引き続く区間の区間開始
マーカに先行するサンプルと本質的に一致する所謂右の
分解端bdaによって限界を定められる。
【0011】合成された信号においては、左の及び右の
合成端bss、bdsは、左の及び右の分解端bsa、bda
対応するであろう。与えられた区間に関しては、信号の
先行する部分が合成において変えられずに再生されるの
で、左の合成端は、区間開始マーカに関して、左の分解
端と明らかに一致する。右の合成端は、以下の関係 bds=bss+Δp (1) [式中、Δp=ps −pa は、合成において、基本期間
の長期化又は短期化が存在するか否かに依存して正又は
負の値を有するであろう]によって規定される。区間の
可変部分は、その継続時間がΔs=bds−bssである一
対の接続(connecting)関数を適用すること
によって変えられる。第一の関数は、左の分解端に対応
する最大値(殊に1)及び点bsa+Δsに対応する最小
値(殊に0)を有する。第二の関数は、右の分解端bda
に対応する最大値(殊に1)及び点bda−Δsに対応す
る最小値(殊に0)を有する。これらの接続関数は、こ
れらの目的のために一般に使用される種類のもので良い
(例えばHanningウインドウズ又は類似の関
数)。
【0012】本発明を更に明確にするために、図4〜6
は、架空の信号への本発明の方法の適用を図示する幾つ
かのグラフを示す。これらの図においては、部分Aは、
指数i−1、i、i+1を有する、元の信号の3つの連
続的な区間を示し、そしてまたそれらの基本期間p
ah(h=i−1、i、i+1)並びにピッチ(又は区間
の開始)マーカMa 並びに左の及び右の分解端bsa、b
daを指示する。部分B及びCは、各々の区間に関して、
それぞれ第一及び第二接続関数(簡単のために本明細書
中では以後“関数B”及び“関数C”と呼ぶものとす
る)並びに元の信号との時間関係を示す。部分Dは、本
発明による方法から生じる合成された信号波形を、それ
ぞれの基本期間psk(k=j−1、j、j+1)の、ピ
ッチマーカMsの、そして左の及び右の合成端bss、b
dsの表示と共に示す。部分Eは、時間シフトの後で、元
の信号の可変部分への2つの接続関数の適用によって得
られる波形を重複及び加算プロセスにかける場合の波形
部分の表現である。分解及び合成における区間の通し番
号は、区間の抑制又は重複が前に起きた可能性があるの
で、異なる可能性があることに注意せよ。
【0013】特に、図4は、区間抑制又は重複が起きな
かった信号部分における、元の信号に関する合成におけ
る基本期間の増加(そしてそれ故振動数の減少)のケー
スを図示する。それぞれの対の接続関数によって各々の
区間において重み付けを実施する。期間増加の結果とし
て、関数の継続時間Δsは元の信号の可変部分の長さよ
りも長く、その結果関数Bもまた引き続く区間に関する
波形の始めに関係し、一方関数Cは左の分解端の左の波
形の部分に関係する。図5は、元の信号に関する合成に
おける基本期間の減少(そしてそれ故振動数の増加)の
ケースにおける類似の表現を示す。この例においてもま
た、区間抑制又は重複は起きなかった。このケースにお
いては、関数B、Cは、bsaとbdaの間に横たわる部分
よりも短い継続時間を有する波形部分に関係する。
【0014】最後に、図6は、元の信号(例においては
指数iを有するもの)の区間の抑制のケースにおける合
成における基本期間の増加の例を示す。指数j−1及び
jによって指示した2つの区間が合成において得られる
が、これらの区間は、それぞれ元の信号中の指数i−1
及びi+1を有する区間の一つを不変部分として維持す
る。元の信号中の指数i+1を有する区間は、図4中の
元の信号の各々の区間と同じやり方で処理する。その代
わりに、合成された信号中の指数j−1を有する区間の
変更された部分は、元の信号中の指数i−1を有する区
間の可変部分を関数Bによってだけ重み付けすることに
よって、そして元の信号中の指数iを有する区間の最後
の部分を関数Cによってだけ重み付けすることによって
得られる2つの波形を重複させそして加算することによ
って得られる。言い換えると、関数Bは、合成において
再生されるべき現在の区間中のbsaの右に適用され、そ
して関数Cは、再生されるべき引き続く区間の左に適用
される。接続関数の適用のこれらの手順は、極めて一般
的であり、そしてまた区間重複及び二重音変化のケース
においても適用される。
【0015】純粋に例として、図4〜6中の図表のため
には、以下の関数を利用した: 0.5 − 0.5・cos{π[(Δs−1+bss−xi)/(Δs−1)]n } (関数B) 0.5 − 0.5・cos{π[(xi−bss)/(Δs−1)]n } (関数C) これらの関数においては、bss、Δsは、前に見られた
意味を有し、そして多数のサンプルとして表される。x
i は、元の波形の可変部分の一般的サンプルである(関
数Bに関してはbsa≦xi <bsa+Δsそして関数Cに
関してはbda−Δs≦xi <bdaでもって)。nは、比
Δs/pa に依存して変わる(例えば1〜3)ことがで
きる数であり、特に、図表においては、nは1であると
考えられた。明らかに、これらの式においては、その最
大値が1の代わりにAである関数が使用される場合に
は、値0.5は、一般的値A/2によって、又はそれら
の和が1(又はA)である一対の値によって置き換える
ことができる。
【0016】図7A、7B〜10A、10Bは、合成規
則が基本期間のそれぞれ減少及び増加(そしてそれ故基
本振動数の増加及びそれぞれ減少)を要求する文章中の
2つの異なる位置で利用される、図3の二重音“外3”
の2つの部分のための、本発明の方法の適用の幾つかの
実際の例を表す。すべての区間に関して、ピッチマー
カ、左の分解及び合成端、並びに分解及び合成の両方に
おける基本振動数を示す。文字Aを有する図は元の波形
を示し、そして文字Bを有する図は合成された信号を示
す。図7A、7B、8A、8Bは、基本振動数の増加
(図7A、7B)のそしてそれぞれ減少(図8A、8
B)のケースにおける検査されている二重音の最初の2
つの区間(音素“外4”)を示す。図9A、9B、10
A、10Bは、代わりに、図7、8中で示されたのと同
じ条件で音素“m”の最初の2つの区間を示す。振動数
減少の結果として、図8B及び10Bにおいては最初の
区間だけを完全に見ることができる。
【0017】
【外3】
【外4】
【0018】合成において再生されるべき各々の区間の
ための左の分解及び合成端を識別するために採用される
本発明の方法の好ましい実施態様をここで説明する。述
べる例においては、合成における基本期間が分解におけ
る期間よりも短いか若しくは等しいか、又はそれがより
長いかに依存して、異なる方法を使用する。
【0019】図11は、ps ≦pa である場合に実施さ
れる操作の総括的なフローチャートである。第一の操作
は、ゼロ交点の数を示す関数ZCR(ゼロ交点率)の計
算である(ステップ11)。この計算においては、限ら
れた数よりも少ない信号サンプル(例えば10)によっ
て前のものから隔てられているゼロ交点は、信号の有意
ではない振動を排除するために無視する。図13中に見
ることができるように、考慮されているゼロ交点を、1
から全ゼロ交点数LZVの記述子まで変わる指数に割り
当てる(ステップ110)。更にまた、以下の変数を割
り当てる(ステップ111): − bda(右の分解端)を分解期間の値pa に、 − bds(右の合成端)を合成期間の値bda+Δpに、 − Diff sを分解と合成の期間の間の差の絶
対値|Δp|に。 これらの関係においては、後で検査される関係における
ように、期間の値及びある区間の長さは、サンプルの数
の項で表される。
【0020】図11に戻ると、関数ZCRを計算した後
で、ステップ11中で見い出されたゼロ交点の数がゼロ
交点の最小しきい値IndZ Min(例えば5つの交
点)よりも小さくないというチェックを行う(ステップ
12)。実際に、本発明によれば、合成された信号にお
いて、刺激衝撃にすぐ続く振動[これらの振動は、上で
述べたように、最も重要な振動である]を変えずに再生
することが望ましい。チェックが正の結果をもたらす場
合には、見い出されたゼロ交点の中から可能な候補を探
索し(ステップ13)、そして引き続いて左の合成及び
分解端bss、bsaを求める探索の第一相を実施する(ス
テップ14)。ステップ14の終了時に適切なゼロ交点
が見い出されなかった場合には、探索継続相を開始し
(ステップ15)そして、この相の後で左の合成及び分
解端がなお識別されなかった場合には、探索の継続及び
終結(conclusion)の相を開始する(ステッ
プ17)。ステップ12における比較がゼロ交点の数が
しきい値よりも小さいことを示す場合には、指数J=I
ndZ Minを有するゼロ交点を勝手に候補として考
え(ステップ18)そしてステップ14において実施さ
れたものと同一の、bsa及びbssを求める探索(ステッ
プ19)を実施する。この探索が不成功である場合に
は、ステップ15を説明した後では明らかになるであろ
う理由のために、ステップ15を通って行くことなく、
ステップ17、即ち探索継続及び終結を直接開始する。
【0021】ステップ17と類似のステップがまた、後
で見られるように、合成における基本期間の長期化のケ
ースにおいてもくろまれる。簡単のために、両方のケー
スのために同じフローチャートを使用したが、これらの
ケースはステップそれ自体中への入力の幾つかの条件に
よって区別される。特に、ps ≦pa のケースのために
は、条件r P≦1(ここでr Pは比ps /pa であ
る)、開始=0、終了=LZV、ステップ=+1(図1
1中のステップ16)をセットする。第一の条件は明ら
かである。他の3つは、相17中でもくろまれるゼロ交
点の検査のサイクルは、増加する指数の順序で実施され
るであろうことを示す。ステップ13〜15及び17中
で実施される操作を、図14〜17を参照して以下に詳
細に説明する。
【0022】図12は、合成期間ps が分解期間pa
りも長い場合に実施される操作の一般的フローチャート
である。第一の操作(ステップ21)は、再び、関数Z
CRを計算することにありそして図11中のステップ1
1と同一である。引き続いて(ステップ22)、図18
を参照して説明されるであろう手順によって左の合成及
び分解端を求める探索を実施し、そして、この相が正の
結果を持たない場合には、図11中のステップ17に対
応する探索継続及び終結相を開始する(ステップ2
4)。条件r P>l、開始=LZV−1、終了=−
1、ステップ=−1を、ステップ24においてもくろま
れる操作のためにセットする。第一の条件は明らかであ
る。他の3つは、ステップ24中でもくろまれるゼロ交
点の検査のサイクルは、このケースにおいては、減少す
る指数の順序で実施されるであろうことを示す。
【0023】図14は、左の分解及び合成端として作用
する候補であるゼロ交点を求める探索(図11中のステ
ップ13)のフローチャートを示す。Jは候補の指数を
表す。特に、その指数がJ=(LZV+1)/2である
中央のゼロ交点(ステップ130)を、最初に候補とし
て調べ、そしてその横座標ZCR(J)を右の合成端b
dsと比較する(ステップ131)。この最初の候補が既
に右の合成端の左にある場合には、左の分解及び合成端
を求める探索の相(ステップ14、図11)を直接開始
する。反対のケースにおいては、中央のものの左のゼロ
交点を後ろ向きサイクルで検査し、その横座標がbds
左にある候補を求めて探索する(ステップ132〜13
4)。この条件を満たすゼロ交点が見い出される時に
は、それを候補として考え(ステップ135)、そして
候補の指数が(LZV+1)/2ではないことを立証し
た(ステップ136)後で探索相(図1中のステップ1
4)を開始する。実際に、後ろ向き探索サイクルは、指
数(LZV+1)/2を有する最初の候補がbdsの右に
あり、そしてそれ故その指数を有する候補を得ることが
例外的な条件を意味するので実施された。これが起きる
場合には、J=0をセットした後で探索相を開始する。
候補が見い出される前にサイクルが終了する場合には、
同じ操作を実施する。
【0024】図15は、bss、bsaを求める探索の第一
相(図11中のステップ14)のために実施される操作
を示す。この探索のためには、後ろ向きの検査を、LZ
Vに先行するゼロ交点から出発してゼロ交点に関して行
い、そして右の分解端bdaと現在のゼロ交点ZCR
(i)との間の距離Diff aを計算する(ステ
ップ140、141)。この距離にr P(合成期間p
s と分解期間pa の間の比)を掛けてDiff
と比較して(ステップ142)、接続関数を適用するの
に十分な時間区間が存在することをチェックする。r
Pによる重み付けは、その関数の継続時間を期間の短期
化パーセントに結び付け、そしてそれは引き続く区間の
間の良好な接続を保証することを目的とする。Diff
s>Diff a*r Pである場合には、
Diff s≦(Diff a*r P)である
ようなゼロ交点が見い出されるまで、又はすべてのゼロ
交点が考慮されてしまうまで、探索サイクルが続く(ス
テップ143)。後者のケースにおいては、ステップ1
4を残し、そして探索継続のステップ15(図11)を
開始する。条件Diff s≦Diff a*
Pが満たされる時には、現在の指数iを候補の指数
Jと比較する(ステップ144)。i<Jである場合に
は、サイクルを継続する。これらの2つの指数が等しい
場合には、現在のゼロ交点を左の分解端bsaとしてそし
て左の合成端bssとして考える(ステップ147)。そ
の代わりにi>Jである場合には、右の分解端bdaと現
在のゼロ交点ZCR(i)との間の距離Δ a、右の合
成端bdsと現在のゼロ交点ZCR(i)との間の距離Δ
s、及びΔ sとΔ aとの間の比Δを計算し(ステ
ップ145)、そして比Δを値(r P)/2と比較す
る(ステップ146)。Δ≦(r P)/2である場合
には、左の分解端bsaと左の合成端bssの仕事を現在の
ゼロ交点に割り当て(ステップ147)、そうでなけれ
ば、探索継続の相15(図11)を開始する。最後の比
較は、左と右の合成端の間の十分な距離が必要とされる
ことばかりでなく、また接続関数は合成における短期化
を考慮することも示す。これはまた、隣り合う区間の間
の良好な接続を得るのを助ける。
【0025】図15中の最後のステップ147における
変数“TRUE”は、bsa及びbssが既に見い出されそ
して引き続く探索相を無力にすることを示す。同じ変数
がまた、左の分解及び合成端を求める探索に関する他の
フローチャートにおいて同じ意味で利用されるであろ
う。ステップ14は、右の合成端の左に横たわりそして
それにできる限り近い候補を、もしあれば、見い出し、
一方接続関数を適用するのに十分な時間区間を保証する
ことを可能にする。このステップは、bsa及びbssを求
める探索の基準の核である。探索継続ステップ15を図
16中で詳細に説明する。このステップは、それが実施
される場合には(相14のそしてそれ故ステップ150
中のTRUE条件に関するチェックの負の結果)、今や
LZV>IndZ minであるかどうかを証明するこ
とだけを目的にした、LZVとIndZ minとの間
の新しい比較(ステップ151)から出発する。条件が
満たされなければ、探索継続及び終結のステップ17を
開始する。LZV>IndZ minである場合には、
指数IndZ Minを有するゼロ交点が右の合成端b
dsの左に位置付けられているかどうかに関するチェック
を行う(ステップ152)。肯定的である場合には、こ
の交点を左の分解端bsa及び左の合成端bssであると考
える(ステップ153)。その代わりに指数IndZ
Minを有するゼロ交点がまだ右の合成端の右にある場
合には、探索継続及び終結のステップ17(図11)を
開始する。
【0026】探索継続及び終結ステップ17を図17中
に詳細に表す。それを実施する必要性をチェックした後
で(ステップ170)、増加する指数順序でゼロ交点を
再び概観する。検査サイクル(図17中のステップ17
1〜174)においては、現在のゼロ交点(Z Tem
によって示される)が右の合成端bdsの左にあるかそし
てこのような端からのその距離が所定の最小値δ、例え
ば10個の信号サンプルよりも小さくないかどうかを各
々のステップにおいてチェックする(ステップ17
3)。これらの2つの条件が満たされない場合には、引
き続くゼロ交点を検査し(ステップ174)、さもなけ
ればこのゼロ交点を仮に左の合成及び分解端として考え
(ステップ175)、そしてサイクルを継続する。条件
173を満たす最後のゼロ交点は、左の合成及び分解端
として考えられるであろう(ステップ179)。ステッ
プ176におけるr Pに関するチェックは、ケースp
s ≦pa とケースps >pa を区別する付加的な手段で
あり、そしてそれは、検査されているケースにおいてフ
ローチャートのステップ177及び178を省略せしめ
る。
【0027】図18は、合成期間が分解期間に関して長
期化される時のbsa及びbssを求める探索を図示する。
この探索は、合成の長期化Diff sと分解期間
aの継続時間の半分との間の比較で始まる(ステップ
220)。Diff s>pa /2である場合に
は、ステップ24(図17中に詳細に図示した)を直接
に開始する。Diff s≦pa /2である場合に
は、LZVより先行するゼロ交点から出発して後ろ向き
探索サイクルを実施する。右の分解端bdaと現在のゼロ
交点ZCR(i)との間の距離Diff aを計算
し(ステップ221、222)、そしてDiff
sと比較する(ステップ223)。それがより小さい場
合には、探索サイクルを継続し(ステップ224)、そ
うでない場合には、現在のゼロ交点を左の分解及び合成
端として考える(ステップ225)。サイクルの終了時
に、bsa及びbssがまだ決定されなかった場合には、探
索継続及び終結の相を開始する(相24、図12)。合
成において必要とされる長期化が分解期間の半分よりも
短い又はそれと等しい場合には、上で述べた操作は、右
の分解端からの距離が必要とされる長期化を越える又は
それと等しい最初のものである候補を、もしあれば、見
い出すことを可能にする。
【0028】探索継続及び終結相においては、上で述べ
たように、図17中のステップ171〜175中で示し
た手順によって、LZVよりも先行するゼロ交点から出
発して、後ろ向き探索サイクルを実施する。更にまた、
区間の長期化が考慮される(ステップ176)ので、右
の分解端bdaと現在のゼロ交点Z Tmpとの間の距離
Δ a、右の合成端bdsと現在のゼロ交点Z Tmpと
の間の距離Δ s、及びこれらの距離の間の比Δを、ス
テップ173の条件を満たすゼロ交点に関して計算する
(ステップ177)。比Δを上述の期間の間の比の2倍
(r P*2)と、図15中の比較146に関して見ら
れたのと同じ理由のために比較し、そして条件Δ≦(r
P*2)を満たすゼロ交点を左の分解端bsa及び左の
合成端bssとして採用するであろう。この相において課
される条件は、左の分解端の仕事を、右の合成端の左に
横たわり、できる限りそれに近く、そしてまた適用され
る接続関数のために十分な時間区間を保証するゼロ交点
に割り当てることを可能にする。特に、ある分解期間を
与えるならば、元の期間中の更に後ろに位置付けられた
左の分解端は、合成において必要とされるより大きな長
期化に対応するであろう。
【0029】本明細書中で述べた方法は、慣用のパソコ
ン、ワークステーション、又は類似の装置によって実施
することができる。上で述べられていることは非限定的
な例のために与えられていること、並びに本発明の範囲
から逸脱することなく変形及び変更が可能であることは
明らかである。
【図面の簡単な説明】
【図1】要素の音波の単位の連結によるテキストから音
声への合成システムの操作の一般的なアウトラインであ
る。
【図2】本発明による、二重音の連結及び時間領域にお
ける韻律素のパラメータの変更による合成方法の図表で
ある。
【図3】音素のそして二重音境界のためのマーカ並びに
ピッチマーカを有する、本当の二重音の波形を表す。
【図4】自然の音声信号の韻律素のパラメータが幾つか
の特別なケースにおいて本発明に従ってどのようにして
変更されるかを表すグラフである。
【図5】自然の音声信号の韻律素のパラメータが幾つか
の特別なケースにおいて本発明に従ってどのようにして
変更されるかを表すグラフである。
【図6】自然の音声信号の韻律素のパラメータが幾つか
の特別なケースにおいて本発明に従ってどのようにして
変更されるかを表すグラフである。
【図7A】図3中の二重音の分節音に関する基本期間の
変更のための本発明による方法の適用の幾つかの本当の
例である。
【図7B】図3中の二重音の分節音に関する基本期間の
変更のための本発明による方法の適用の幾つかの本当の
例である。
【図8A】図3中の二重音の分節音に関する基本期間の
変更のための本発明による方法の適用の幾つかの本当の
例である。
【図8B】図3中の二重音の分節音に関する基本期間の
変更のための本発明による方法の適用の幾つかの本当の
例である。
【図9A】図3中の二重音の分節音に関する基本期間の
変更のための本発明による方法の適用の幾つかの本当の
例である。
【図9B】図3中の二重音の分節音に関する基本期間の
変更のための本発明による方法の適用の幾つかの本当の
例である。
【図10A】図3中の二重音の分節音に関する基本期間
の変更のための本発明による方法の適用の幾つかの本当
の例である。
【図10B】図3中の二重音の分節音に関する基本期間
の変更のための本発明による方法の適用の幾つかの本当
の例である。
【図11】左の分解及び合成端を決定するための操作の
フローチャートである。
【図12】左の分解及び合成端を決定するための操作の
フローチャートである。
【図13】左の分解及び合成端を決定するための操作の
フローチャートである。
【図14】左の分解及び合成端を決定するための操作の
フローチャートである。
【図15】左の分解及び合成端を決定するための操作の
フローチャートである。
【図16】左の分解及び合成端を決定するための操作の
フローチャートである。
【図17】左の分解及び合成端を決定するための操作の
フローチャートである。
【図18】左の分解及び合成端を決定するための操作の
フローチャートである。
フロントページの続き (72)発明者 ルチアノ・ネツビア イタリー国トリノ、ヴイア・モンテ・オ ルチガラ 41 (72)発明者 ステフアノ・サンドリ イタリー国トリノ、ピー・ツエーツア・ マツサウア7 (56)参考文献 特開 昭60−184300(JP,A) 特開 平6−19496(JP,A) 特開 平3−97000(JP,A) 特開 平5−241598(JP,A) (58)調査した分野(Int.Cl.7,DB名) G10L 11/00 - 21/06 INSPEC(DIALOG)

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】 基本的な音声信号単位を表す波形を時間
    連結することによる音声信号合成方法であって、少なく
    とも有声音に関する波形を、声帯刺激の一連の衝撃に対
    する声管の応答に対応し且つ信号の基本周波数に同期し
    た複数の区間に細分し;合成において再生されるべき元
    の信号の現在の区間を、不変部分と可変部分に細分し;
    各区間の可変部分の波形を重み付けし;重み付けにより
    得られた信号を、韻律素情報に依存した量だけ時間シフ
    トされたそれらの複製と置き換え;そして、シフトされ
    た信号を重複させて加算することにより合成を行う該音
    声信号合成方法において、 (ア)不変部分が、所定条件を満たす元の音声信号のゼ
    ロ交点により表される左の分解端と区間の開始との間に
    存在し、且つ、可変部分が、現在の区間の終わりと本質
    的に一致する右の分解端と左の分解端との間に存在する
    ように、不変部分と可変部分の間の境界を決め、ここ
    で、左の分解端と右の分解端は、合成された信号におい
    てそれぞれ左の合成端と右の合成端に関連し、このうち
    左の合成端は区間開始マーカに関して左の分解端と一致
    し、また、右の合成端は合成された信号において区間の
    終わりと本質的に一致し、 (イ)第一接続関数を、元の信号の現在の区間の左の分
    解端の右にある波形部分に適用し、ここで、この関数
    は、左と右の合成端の間に存在する合成された波形の分
    節音の継続時間に等しい継続時間、及び次第に減少し且
    つ左の分解端に対応して最大である振幅を有し、 (ウ)第二接続関数を、合成において再生されるべき元
    の信号の後続の区間の左にある波形部分に適用し、ここ
    で、この関数は、左と右の合成端の間に存在する合成さ
    れた波形の分節音の継続時間と等しい継続時間、及び次
    第に増加し且つ前記の後続区間の開始に対応して最大で
    ある振幅を有し、そして (エ)元の区間の不変部分中の波形を変えずに再生し、
    且つ、2つの接続関数を適用して得られる2つの波形を
    時間に関して整列させて加算することによって得られた
    波形を不変部分の再生波形に結合させることにより、合
    成された信号の各々の区間を作る、 ことを特徴とする音声信号合成方法。
  2. 【請求項2】 一つの区間の継続時間が元の信号の対応
    する区間の継続時間に対して合成のために減らされるか
    又は変えられずに維持される場合には、左の分解端及び
    左の合成端を、以下の操作: − 元の信号波形のゼロ交点の数を計算し、そして各々
    のゼロ交点に区間の始めから終わりに向かって増加する
    指数を割り当てること、 − ゼロ交点の数が第一しきい値よりも小さくないこと
    をチェックすること、 − チェックの正の結果のケースにおいては、左の分解
    及び合成端として機能するゼロ交点候補を求めて探索す
    ること、 − 前記区間中のすべてのゼロ交点の中で、最後のもの
    を除いて、右の合成端の左に横たわり、できる限りそれ
    に近く、そして適用されるべき接続関数のために十分な
    時間区間を保証する候補を求めて後ろ向きに探索し、そ
    して左の分解及び合成端の仕事をこの候補に割り当てる
    ことによって決定することを特徴とする、請求項1記載
    の方法。
  3. 【請求項3】 前記のゼロ交点の計算において、前のゼ
    ロ交点からのその距離が所定の距離よりも短いゼロ交点
    を考慮しないことを特徴とする、請求項2記載の方法。
  4. 【請求項4】 後ろ向き探索が負の結果をもたらした場
    合にはそしてゼロ交点の数が第一しきい値よりも大きい
    場合には、左の分解端及び左の合成端の仕事を、その指
    数が前記しきい値に対応するゼロ交点に、このようなゼ
    ロ交点が右の合成端の左に横たわる場合には、割り当て
    ることを特徴とする、請求項2又は3記載の方法。
  5. 【請求項5】 後ろ向き探索が負の結果をもたらした場
    合にはそしてゼロ交点の数が第一しきい値よりも大きく
    ない場合には、右の合成端の左に横たわりそして第二し
    きい値よりも小さくない右の合成端からの距離を有する
    ゼロ交点を識別するために更なる探索相を実施し、そし
    て左の分解端及び右の分解端の仕事を、これらの条件を
    満たす最大指数のゼロ交点に割り当てることを特徴とす
    る、請求項2又は3記載の方法。
  6. 【請求項6】 第一しきい値との比較がゼロ交点の数が
    第一しきい値よりも小さいことを示す場合には、前記後
    ろ向き探索を直接に実施しそして、それが負の結果をも
    たらす場合には、前記の更なる探索相を直接に実施する
    ことを特徴とする、請求項2記載の方法。
  7. 【請求項7】 区間の継続時間が元の信号の対応する区
    間の継続時間と比較して合成のために増加される場合に
    は、左の分解端及び右の合成端を以下の操作: − 元の信号波形のゼロ交点の数を計算すること、 − 合成区間の継続時間長期化と元の区間の継続時間と
    を比較して、この長期化が元の区間継続時間の半分を越
    えないことをチェックすること、 − このチェックが正の結果をもたらす場合には、最後
    のものを除くすべてのゼロ交点の中で、右の合成端の左
    に横たわりそして右の合成端からの距離が区間継続時間
    の長期化よりも短くない最初のものである候補ゼロ交点
    を求めて後ろ向きに探索し、そして左の分解端及び左の
    合成端の仕事を、もしあれば、前記条件を満たすゼロ交
    点に割り当てることによって決定することを特徴とす
    る、請求項1記載の方法。
  8. 【請求項8】 前記のゼロ交点の計算において、前の交
    点からのその距離が所定の距離よりも短い交点を考慮し
    ないことを特徴とする、請求項7記載の方法。
  9. 【請求項9】 区間継続時間長期化が元の区間継続時間
    の半分を越える場合には、又は後ろ向き探索が不成功で
    ある場合には、右の合成端の左に横たわりそして第三し
    きい値よりも短くない右の合成端からの距離を有するゼ
    ロ交点を識別するために更なる後ろ向き探索相を実施
    し、右の合成端からのそして右の分解端からの距離及び
    これらの距離の間の比をこのようなゼロ交点に関して計
    算し、この比を、合成区間の継続時間と元の区間の継続
    時間との間の比の値と比較し、そして左の分解端及び左
    の合成端の仕事を、その指数が、これらの端からの前記
    距離の間の比が所定の係数だけ継続時間の間の比を越え
    ないものの中で最低であるゼロ交点に割り当てることを
    特徴とする、請求項7又は8記載の方法。
JP07175553A 1994-09-29 1995-06-20 波形の連結及び部分的重複化による音声合成方法 Expired - Lifetime JP3078205B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IT94TO000756A IT1266943B1 (it) 1994-09-29 1994-09-29 Procedimento di sintesi vocale mediante concatenazione e parziale sovrapposizione di forme d'onda.
IT94A000756 1994-09-29

Publications (2)

Publication Number Publication Date
JPH08110789A JPH08110789A (ja) 1996-04-30
JP3078205B2 true JP3078205B2 (ja) 2000-08-21

Family

ID=11412789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07175553A Expired - Lifetime JP3078205B2 (ja) 1994-09-29 1995-06-20 波形の連結及び部分的重複化による音声合成方法

Country Status (8)

Country Link
US (1) US5774855A (ja)
EP (1) EP0706170B1 (ja)
JP (1) JP3078205B2 (ja)
CA (1) CA2150614C (ja)
DE (2) DE69521955T2 (ja)
DK (1) DK0706170T3 (ja)
ES (1) ES2113329T3 (ja)
IT (1) IT1266943B1 (ja)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240384B1 (en) 1995-12-04 2001-05-29 Kabushiki Kaisha Toshiba Speech synthesis method
KR100339168B1 (ko) 1996-11-07 2002-06-03 모리시타 요이찌 음원 벡터 생성 장치, 음성 부호화 장치 및 음성 복호화장치
KR100236974B1 (ko) 1996-12-13 2000-02-01 정선종 동화상과 텍스트/음성변환기 간의 동기화 시스템
US8209184B1 (en) * 1997-04-14 2012-06-26 At&T Intellectual Property Ii, L.P. System and method of providing generated speech via a network
KR100240637B1 (ko) 1997-05-08 2000-01-15 정선종 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치
EP1000499B1 (en) * 1997-07-31 2008-12-31 Cisco Technology, Inc. Generation of voice messages
US6725190B1 (en) * 1999-11-02 2004-04-20 International Business Machines Corporation Method and system for speech reconstruction from speech recognition features, pitch and voicing with resampled basis functions providing reconstruction of the spectral envelope
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
JP3673471B2 (ja) * 2000-12-28 2005-07-20 シャープ株式会社 テキスト音声合成装置およびプログラム記録媒体
US7035794B2 (en) * 2001-03-30 2006-04-25 Intel Corporation Compressing and using a concatenative speech database in text-to-speech systems
DE60122296T2 (de) * 2001-05-28 2007-08-30 Texas Instruments Inc., Dallas Programmierbarer Melodienerzeuger
WO2003003918A2 (en) * 2001-07-02 2003-01-16 Abratech Corporation Recovery of overlapped transient responses using qsd apparatus
DE10230884B4 (de) * 2002-07-09 2006-01-12 Siemens Ag Vereinigung von Prosodiegenerierung und Bausteinauswahl bei der Sprachsynthese
GB2392358A (en) * 2002-08-02 2004-02-25 Rhetorical Systems Ltd Method and apparatus for smoothing fundamental frequency discontinuities across synthesized speech segments
US7912708B2 (en) 2002-09-17 2011-03-22 Koninklijke Philips Electronics N.V. Method for controlling duration in speech synthesis
EP1543498B1 (en) 2002-09-17 2006-05-31 Koninklijke Philips Electronics N.V. A method of synthesizing of an unvoiced speech signal
US7558727B2 (en) 2002-09-17 2009-07-07 Koninklijke Philips Electronics N.V. Method of synthesis for a steady sound signal
JP4510631B2 (ja) 2002-09-17 2010-07-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声波形の連結を用いる音声合成
CN1604077B (zh) 2003-09-29 2012-08-08 纽昂斯通讯公司 对发音波形语料库的改进方法
US7643990B1 (en) * 2003-10-23 2010-01-05 Apple Inc. Global boundary-centric feature extraction and associated discontinuity metrics
US7409347B1 (en) * 2003-10-23 2008-08-05 Apple Inc. Data-driven global boundary optimization
KR20050059766A (ko) * 2003-12-15 2005-06-21 엘지전자 주식회사 동적 시간 워핑을 이용한 음성 인식 방법
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070299657A1 (en) * 2006-06-21 2007-12-27 Kang George S Method and apparatus for monitoring multichannel voice transmissions
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
CN115515089B (zh) * 2021-06-22 2025-06-06 广州慧睿思通科技股份有限公司 信号的信令尾的识别方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU574104B2 (en) * 1983-09-09 1988-06-30 Sony Corporation Apparatus for reproducing audio signal
US4692941A (en) * 1984-04-10 1987-09-08 First Byte Real-time text-to-speech conversion system
FR2636163B1 (fr) * 1988-09-02 1991-07-05 Hamon Christian Procede et dispositif de synthese de la parole par addition-recouvrement de formes d'onde
US5384893A (en) * 1992-09-23 1995-01-24 Emerson & Stern Associates, Inc. Method and apparatus for speech synthesis based on prosodic analysis
NZ303239A (en) * 1995-03-07 1999-01-28 British Telecomm Speech synthesis from recorded phonemes with amplitude adjustments

Also Published As

Publication number Publication date
EP0706170A2 (en) 1996-04-10
DE69521955T2 (de) 2002-04-04
EP0706170B1 (en) 2001-08-01
DE69521955D1 (de) 2001-09-06
EP0706170A3 (en) 1997-11-26
DK0706170T3 (da) 2001-11-12
CA2150614A1 (en) 1996-03-30
ES2113329T1 (es) 1998-05-01
US5774855A (en) 1998-06-30
DE706170T1 (de) 1998-11-19
IT1266943B1 (it) 1997-01-21
CA2150614C (en) 2000-04-11
JPH08110789A (ja) 1996-04-30
ITTO940756A1 (it) 1996-03-29
ITTO940756A0 (it) 1994-09-29
ES2113329T3 (es) 2001-12-16

Similar Documents

Publication Publication Date Title
JP3078205B2 (ja) 波形の連結及び部分的重複化による音声合成方法
US8195464B2 (en) Speech processing apparatus and program
JPH031200A (ja) 規則型音声合成装置
JPH03501896A (ja) 波形の加算重畳による音声合成のための処理装置
JP2002202789A (ja) テキスト音声合成装置およびプログラム記録媒体
JP3450237B2 (ja) 音声合成装置および方法
US7280969B2 (en) Method and apparatus for producing natural sounding pitch contours in a speech synthesizer
US6594631B1 (en) Method for forming phoneme data and voice synthesizing apparatus utilizing a linear predictive coding distortion
JP3281266B2 (ja) 音声合成方法及び装置
JP6578544B1 (ja) 音声処理装置、および音声処理方法
JP5175422B2 (ja) 音声合成における時間幅を制御する方法
JP4490818B2 (ja) 定常音響信号のための合成方法
JP2011090218A (ja) 音素符号変換装置、音素符号データベース、および音声合成装置
US7822599B2 (en) Method for synthesizing speech
JPH09179576A (ja) 音声合成方法
JP3081300B2 (ja) 残差駆動型音声合成装置
JP3059751B2 (ja) 残差駆動型音声合成装置
JP3310217B2 (ja) 音声合成方法とその装置
JPH11109992A (ja) 音声素片データベースの作成方法、音声合成方法、音声素片データベース、音声素片データベース作成装置および音声合成装置
JPH06250685A (ja) 音声合成方式および規則合成装置
WO2000065572A1 (en) Speech synthesizing apparatus, speech synthesizing method, and recording medium
JPH0836397A (ja) 音声合成装置
Singh et al. Removal of spectral discontinuity in concatenated speech waveform
JPH1091191A (ja) 音声合成方法
US20060074675A1 (en) Method of synthesizing creaky voice

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080616

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090616

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100616

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100616

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110616

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120616

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120616

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130616

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term