JPH09319394A - 音声合成方法 - Google Patents
音声合成方法Info
- Publication number
- JPH09319394A JPH09319394A JP9046694A JP4669497A JPH09319394A JP H09319394 A JPH09319394 A JP H09319394A JP 9046694 A JP9046694 A JP 9046694A JP 4669497 A JP4669497 A JP 4669497A JP H09319394 A JPH09319394 A JP H09319394A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- unit
- representative
- phoneme
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】テキスト音声合成による合成音声の音質を効果
的に向上させることができる音声合成方法を提供する。 【解決手段】代表音声素片生成部１１において音素環境
１０２がラベル付けされたトレーニング音声素片１０１
のピッチ・継続時間長に従って入力音声素片１０３のピ
ッチ・継続時間長を変更して複数の合成音声素片を生成
し、合成音声素片とトレーニング音声素片１０１との間
の距離尺度に基づいて入力音声素片１０３から代表音声
素片１０４を選択して代表音声素片記憶部１２に記憶
し、さらに距離尺度に基づいて代表音声素片にそれぞれ
対応する複数の音素環境クラスタ１０５を生成して音素
環境クラスタ記憶部１３に記憶し、代表音声素片記憶部
１２から入力音素の音素環境を含む音素環境クラスタに
対応する代表音声素片を読み出して音声合成部１５で接
続することにより、合成音声信号１１３を生成する。
的に向上させることができる音声合成方法を提供する。 【解決手段】代表音声素片生成部１１において音素環境
１０２がラベル付けされたトレーニング音声素片１０１
のピッチ・継続時間長に従って入力音声素片１０３のピ
ッチ・継続時間長を変更して複数の合成音声素片を生成
し、合成音声素片とトレーニング音声素片１０１との間
の距離尺度に基づいて入力音声素片１０３から代表音声
素片１０４を選択して代表音声素片記憶部１２に記憶
し、さらに距離尺度に基づいて代表音声素片にそれぞれ
対応する複数の音素環境クラスタ１０５を生成して音素
環境クラスタ記憶部１３に記憶し、代表音声素片記憶部
１２から入力音素の音素環境を含む音素環境クラスタに
対応する代表音声素片を読み出して音声合成部１５で接
続することにより、合成音声信号１１３を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、テキスト音声合成
のための音声合成方法に係り、特に音韻記号列、ピッチ
および音韻継続時間長などの情報から音声信号を生成す
る音声合成方法に関する。
のための音声合成方法に係り、特に音韻記号列、ピッチ
および音韻継続時間長などの情報から音声信号を生成す
る音声合成方法に関する。
【０００２】
【従来の技術】任意の文章から人工的に音声信号を作り
出すことをテキスト音声合成という。テキスト音声合成
は、一般的に言語処理部、音韻処理部および音声合成部
の３つの段階によって行われる。入力されたテキスト
は、まず言語処理部において形態素解析や構文解析など
が行われ、次に音韻処理部においてアクセントやイント
ネーシヨンの処理が行われて、音韻記号列・ピッチ・音
韻継続時間長などの情報が出力される。最後に、音声信
号合成部で音韻記号列・ピッチ・音韻継続時間長などの
情報から音声信号を合成する。そこで、テキスト音声合
成に用いる音声合成方法は、任意の音韻記号列を任意の
韻律で音声合成することが可能な方法でなければならな
い。
出すことをテキスト音声合成という。テキスト音声合成
は、一般的に言語処理部、音韻処理部および音声合成部
の３つの段階によって行われる。入力されたテキスト
は、まず言語処理部において形態素解析や構文解析など
が行われ、次に音韻処理部においてアクセントやイント
ネーシヨンの処理が行われて、音韻記号列・ピッチ・音
韻継続時間長などの情報が出力される。最後に、音声信
号合成部で音韻記号列・ピッチ・音韻継続時間長などの
情報から音声信号を合成する。そこで、テキスト音声合
成に用いる音声合成方法は、任意の音韻記号列を任意の
韻律で音声合成することが可能な方法でなければならな
い。
【０００３】このような任意の音韻記号列を音声合成す
る音声合成装置の原理は、母音をＶ、子音をＣで表す
と、ＣＶ、ＣＶＣ、ＶＣＶといった基本となる小さな単
位の特徴パラメータ（これを代表音声素片という）を記
憶し、これらを選択的に読み出した後、ピッチや継続時
間長を制御して接続することにより、音声を合成すると
いうものである。従って、記憶されている代表音声素片
が合成音声の品質を大きく左右することになる。
る音声合成装置の原理は、母音をＶ、子音をＣで表す
と、ＣＶ、ＣＶＣ、ＶＣＶといった基本となる小さな単
位の特徴パラメータ（これを代表音声素片という）を記
憶し、これらを選択的に読み出した後、ピッチや継続時
間長を制御して接続することにより、音声を合成すると
いうものである。従って、記憶されている代表音声素片
が合成音声の品質を大きく左右することになる。
【０００４】従来、これらの代表音声素片の作成はもっ
ぱら人手に頼っており、音声信号の中から試行錯誤的に
切り出してくる場合がほとんどであるため、膨大な労力
を要していた。このような代表音声素片作成の作業を自
動化し、音声合成に使用するのに適した代表音声素片を
容易に生成する方法として、例えば音素環境クラスタリ
ング（ＣＯＣ）と呼ばれる技術が特開昭６４−７８３０
０「音声合成方法」に開示されている。
ぱら人手に頼っており、音声信号の中から試行錯誤的に
切り出してくる場合がほとんどであるため、膨大な労力
を要していた。このような代表音声素片作成の作業を自
動化し、音声合成に使用するのに適した代表音声素片を
容易に生成する方法として、例えば音素環境クラスタリ
ング（ＣＯＣ）と呼ばれる技術が特開昭６４−７８３０
０「音声合成方法」に開示されている。
【０００５】ＣＯＣの原理は、音素名や音素環境のラベ
ルを多数の音声素片に付与し、そのラベルが付与された
音声素片を音声素片間の距離尺度に基づいて音素環境に
関する複数のクラスタに分類し、その各クラスタのセン
トロイドを代表音声素片とするものである。ここで、音
素環境とは当該音声素片にとっての環境となる要因全て
の組合せであり、その要因としては当該音声素片の音素
名、先行音素、後続音素、後々続音素、ピッチ周期、パ
ワー、ストレスの有無、アクセント核からの位置、息継
ぎからの時間、発声速度、感情などが考えられる。実音
声中の各音素は音素環境によって音韻が変化しているた
め、音素環境に関する複数のクラスタ毎に代表素片を記
憶しておくことにより、音素環境の影響を考慮した自然
な音声を合成することが可能となっている。
ルを多数の音声素片に付与し、そのラベルが付与された
音声素片を音声素片間の距離尺度に基づいて音素環境に
関する複数のクラスタに分類し、その各クラスタのセン
トロイドを代表音声素片とするものである。ここで、音
素環境とは当該音声素片にとっての環境となる要因全て
の組合せであり、その要因としては当該音声素片の音素
名、先行音素、後続音素、後々続音素、ピッチ周期、パ
ワー、ストレスの有無、アクセント核からの位置、息継
ぎからの時間、発声速度、感情などが考えられる。実音
声中の各音素は音素環境によって音韻が変化しているた
め、音素環境に関する複数のクラスタ毎に代表素片を記
憶しておくことにより、音素環境の影響を考慮した自然
な音声を合成することが可能となっている。
【０００６】
【発明が解決しようとする課題】上に述べたように、テ
キスト音声合成のための音声合成では、代表音声素片の
ピッチや継続時間長を指定された値に変更して合成する
必要がある。このようなピッチや継続時間長の変更によ
り、代表音声素片を切り出してきた音声信号の音質と比
較して合成音声の音質がある程度劣化することになる。
キスト音声合成のための音声合成では、代表音声素片の
ピッチや継続時間長を指定された値に変更して合成する
必要がある。このようなピッチや継続時間長の変更によ
り、代表音声素片を切り出してきた音声信号の音質と比
較して合成音声の音質がある程度劣化することになる。
【０００７】これに対して、上記のＣＯＣによるクラス
タリングでは、音声素片間の距離尺度に基づいてクラス
タリングを行っているにすぎないため、合成の際のピッ
チや継続時間の変更の効果が全く考慮されていないとい
う問題がある。すなわち、ＣＯＣによるクラスタリング
および各クラスタの代表音声素片は、実際にピッチや継
続時間長を変更して合成された合成音声のレベルでは、
必ずしも適当なものになっているという保証はない。
タリングでは、音声素片間の距離尺度に基づいてクラス
タリングを行っているにすぎないため、合成の際のピッ
チや継続時間の変更の効果が全く考慮されていないとい
う問題がある。すなわち、ＣＯＣによるクラスタリング
および各クラスタの代表音声素片は、実際にピッチや継
続時間長を変更して合成された合成音声のレベルでは、
必ずしも適当なものになっているという保証はない。
【０００８】本発明は、このような問題点を解決すべく
なされたものであり、テキスト音声合成による合成音声
の音質を効果的に向上させることができる音声合成方法
を提供することを目的とする。
なされたものであり、テキスト音声合成による合成音声
の音質を効果的に向上させることができる音声合成方法
を提供することを目的とする。
【０００９】
【課題を解決するための手段】上記の課題を解決するた
め、本発明はピッチや継続時間長の変更の影響を考慮し
て、合成音声のレベルで自然音声に対する歪みが小さく
なるような代表音声素片を生成し、その代表音声素片を
用いて音声を合成することにより、自然音声に近い合成
音声を生成するようにしたものである。
め、本発明はピッチや継続時間長の変更の影響を考慮し
て、合成音声のレベルで自然音声に対する歪みが小さく
なるような代表音声素片を生成し、その代表音声素片を
用いて音声を合成することにより、自然音声に近い合成
音声を生成するようにしたものである。
【００１０】すなわち、本発明に係る音声合成方法は、
複数の第１の音声素片のピッチおよび継続時間長の少な
くとも一方に従って複数の第２の音声素片のピッチおよ
び継続時間長の少なくとも一方を変更することにより複
数の合成音声素片を生成し、これらの合成音声素片と第
１の音声素片との間の距離尺度に基づいて第２の音声素
片から複数の代表音声素片を選択して記憶し、これらの
代表音声素片から所定の代表音声素片を選択して接続す
ることによって音声を合成することを特徴とする。
複数の第１の音声素片のピッチおよび継続時間長の少な
くとも一方に従って複数の第２の音声素片のピッチおよ
び継続時間長の少なくとも一方を変更することにより複
数の合成音声素片を生成し、これらの合成音声素片と第
１の音声素片との間の距離尺度に基づいて第２の音声素
片から複数の代表音声素片を選択して記憶し、これらの
代表音声素片から所定の代表音声素片を選択して接続す
ることによって音声を合成することを特徴とする。
【００１１】ここで、第１および第２の音声素片は、Ｃ
Ｖ，ＶＣＶ，ＣＶＣといった音声合成単位で音声信号中
から切り出される素片であり、切り出された波形もしく
はその波形から何らかの方法で抽出されたパラメータ系
列などを表すものとする。これらのうち、第１の音声素
片は合成音声の歪みを評価するために用いられ、また第
２の音声素片は代表音声素片の候補として用いられる。
合成音声素片は、第２の音声素片に対して少なくともピ
ッチまたは継続時間長を変更して生成される合成音声波
形またはパラメータ系列などを表す。
Ｖ，ＶＣＶ，ＣＶＣといった音声合成単位で音声信号中
から切り出される素片であり、切り出された波形もしく
はその波形から何らかの方法で抽出されたパラメータ系
列などを表すものとする。これらのうち、第１の音声素
片は合成音声の歪みを評価するために用いられ、また第
２の音声素片は代表音声素片の候補として用いられる。
合成音声素片は、第２の音声素片に対して少なくともピ
ッチまたは継続時間長を変更して生成される合成音声波
形またはパラメータ系列などを表す。
【００１２】合成音声素片と第１の音声素片との間の距
離尺度によって、合成音声の歪みが表わされる。従っ
て、この距離尺度つまり歪みがより小さくなる音声素片
を第２の音声素片から選択して代表音声素片として記憶
しておき、これらの代表音声素片から所定の代表音声素
片を選択して接続すれば、自然音声に近い高品質の合成
音声が生成される。
離尺度によって、合成音声の歪みが表わされる。従っ
て、この距離尺度つまり歪みがより小さくなる音声素片
を第２の音声素片から選択して代表音声素片として記憶
しておき、これらの代表音声素片から所定の代表音声素
片を選択して接続すれば、自然音声に近い高品質の合成
音声が生成される。
【００１３】本発明の第１の態様では、音素環境がラベ
ル付けされた複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更して
複数の合成音声素片を生成し、これらの合成音声素片と
第１の音声素片との間の距離尺度に基づいて第２の音声
素片から複数の代表音声素片を選択して記憶し、前記距
離尺度に基づいて代表音声素片にそれぞれ対応する複数
の音素環境クラスタを生成し、複数の代表音声素片から
入力音素の音素環境を含む音素環境クラスタに対応する
代表音声素片を選択して接続することによって音声を合
成する。
ル付けされた複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更して
複数の合成音声素片を生成し、これらの合成音声素片と
第１の音声素片との間の距離尺度に基づいて第２の音声
素片から複数の代表音声素片を選択して記憶し、前記距
離尺度に基づいて代表音声素片にそれぞれ対応する複数
の音素環境クラスタを生成し、複数の代表音声素片から
入力音素の音素環境を含む音素環境クラスタに対応する
代表音声素片を選択して接続することによって音声を合
成する。
【００１４】ここで、音素環境とは前述した通り音声素
片にとっての環境となる要因、例えば当該音声素片の音
素名、先行音素、後続音素、後々続音素、ピッチ周期、
パワー、ストレスの有無、アクセント核からの位置、息
継ぎからの時間、発声速度、感情といった要素の組み合
わせであり、音素環境クラスタとは言い換えれば音素環
境の集合であり、例えば「当該素片の音韻が／ｋａ／、
先行音韻が／ｉ／または／ｕ／、ピッチ周波数が２００
Ηｚ以下」というようなものを意味する。
片にとっての環境となる要因、例えば当該音声素片の音
素名、先行音素、後続音素、後々続音素、ピッチ周期、
パワー、ストレスの有無、アクセント核からの位置、息
継ぎからの時間、発声速度、感情といった要素の組み合
わせであり、音素環境クラスタとは言い換えれば音素環
境の集合であり、例えば「当該素片の音韻が／ｋａ／、
先行音韻が／ｉ／または／ｕ／、ピッチ周波数が２００
Ηｚ以下」というようなものを意味する。
【００１５】第１の態様のように、距離尺度つまり合成
音声の歪みに基づいて代表音声素片にそれぞれ対応する
複数の音素環境クラスタを生成し、入力音素の音素環境
を含む音素環境クラスタに対応する代表音声素片を選択
して接続するようにすれば、例えば同一音素名の音声素
片が複数の音素環境に存在する場合でも、実際の入力音
素の音素環境が含まれる音素環境クラスタに対応する代
表音声素片のみが選択されることにより、より自然な合
成音声が得られる。
音声の歪みに基づいて代表音声素片にそれぞれ対応する
複数の音素環境クラスタを生成し、入力音素の音素環境
を含む音素環境クラスタに対応する代表音声素片を選択
して接続するようにすれば、例えば同一音素名の音声素
片が複数の音素環境に存在する場合でも、実際の入力音
素の音素環境が含まれる音素環境クラスタに対応する代
表音声素片のみが選択されることにより、より自然な合
成音声が得られる。
【００１６】本発明の第２の態様では、音素環境がラベ
ル付けされた複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更して
複数の合成音声素片を生成し、これらの合成音声素片と
第１の音声素片との間の距離尺度に基づいて複数の音素
環境クラスタを生成し、前記距離尺度に基づいて第２の
音声素片から各音素環境クラスタにそれぞれ対応する複
数の代表音声素片を選択して記憶し、これらの代表音声
素片から所定の代表音声素片を選択して接続することに
よって音声を合成する。この第２の態様は、音声素片が
一つの音素環境にのみ存在する場合に有効である。
ル付けされた複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更して
複数の合成音声素片を生成し、これらの合成音声素片と
第１の音声素片との間の距離尺度に基づいて複数の音素
環境クラスタを生成し、前記距離尺度に基づいて第２の
音声素片から各音素環境クラスタにそれぞれ対応する複
数の代表音声素片を選択して記憶し、これらの代表音声
素片から所定の代表音声素片を選択して接続することに
よって音声を合成する。この第２の態様は、音声素片が
一つの音素環境にのみ存在する場合に有効である。
【００１７】本発明の第３の態様では、音素環境がラベ
ル付けされた複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更して
複数の合成音声素片を生成し、これらの合成音声素片と
第１の音声素片との間の距離尺度に基づいて複数の音素
環境クラスタを生成し、第１の音声素片と合成音声素片
との間の距離尺度に基づいて第２の音声素片から各音素
環境クラスタにそれぞれ対応する複数の代表音声素片を
選択して記憶し、これらの代表音声素片から入力音素の
音素環境を含む音素環境クラスタに対応する代表音声素
片を選択して接続することによって音声を合成する。
ル付けされた複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更して
複数の合成音声素片を生成し、これらの合成音声素片と
第１の音声素片との間の距離尺度に基づいて複数の音素
環境クラスタを生成し、第１の音声素片と合成音声素片
との間の距離尺度に基づいて第２の音声素片から各音素
環境クラスタにそれぞれ対応する複数の代表音声素片を
選択して記憶し、これらの代表音声素片から入力音素の
音素環境を含む音素環境クラスタに対応する代表音声素
片を選択して接続することによって音声を合成する。
【００１８】この第３の態様によっても、第１の態様と
同様に、例えば同一音素名の音声素片が複数の音素環境
に存在する場合、実際の入力音素の音素環境が含まれる
音素環境クラスタに対応する代表音声素片のみが選択さ
れることにより、より自然な合成音声が得られる。
同様に、例えば同一音素名の音声素片が複数の音素環境
に存在する場合、実際の入力音素の音素環境が含まれる
音素環境クラスタに対応する代表音声素片のみが選択さ
れることにより、より自然な合成音声が得られる。
【００１９】また、本発明に係る他の音声合成方法は、
複数の第１の音声素片のピッチおよび継続時間長の少な
くとも一方に従って複数の第２の音声素片のピッチおよ
び継続時間長の少なくとも一方を変更することにより複
数の合成音声素片を生成し、さらにこれらの合成音声素
片についてスペクトル整形を行い、このスペクトル整形
を行った後の各合成音声素片と第１の音声素片との間の
距離尺度に基づいて第２の音声素片から複数の代表音声
素片を選択して記憶し、これらの代表音声素片から所定
の代表音声素片を選択して接続することによって音声を
合成し、この合成した音声のスペクトル整形を行って最
終的な合成音声を生成することを特徴とする。
複数の第１の音声素片のピッチおよび継続時間長の少な
くとも一方に従って複数の第２の音声素片のピッチおよ
び継続時間長の少なくとも一方を変更することにより複
数の合成音声素片を生成し、さらにこれらの合成音声素
片についてスペクトル整形を行い、このスペクトル整形
を行った後の各合成音声素片と第１の音声素片との間の
距離尺度に基づいて第２の音声素片から複数の代表音声
素片を選択して記憶し、これらの代表音声素片から所定
の代表音声素片を選択して接続することによって音声を
合成し、この合成した音声のスペクトル整形を行って最
終的な合成音声を生成することを特徴とする。
【００２０】この場合、先に示した第１、第２および第
３の態様においても、複数の合成音声素片を生成した
後、スペクトル整形を行うようにする。ここで、スペク
トル整形は「めりはり」のある明瞭な音声を合成するた
めの処理であり、例えばホルマント強調やピッチ強調を
行う適応ポストフィルタによるフィルタリングによって
実現される。
３の態様においても、複数の合成音声素片を生成した
後、スペクトル整形を行うようにする。ここで、スペク
トル整形は「めりはり」のある明瞭な音声を合成するた
めの処理であり、例えばホルマント強調やピッチ強調を
行う適応ポストフィルタによるフィルタリングによって
実現される。
【００２１】このように代表音声素片の接続によって合
成される音声に対してスペクトル整形を行うと共に、合
成音声素片に対しても同様のスペクトル整形を行うこと
によって、スペクトル整形後の最終的な合成音声のレベ
ルで、自然音声に対する歪が小さくなるような代表音声
素片を生成できるため、「めりはり」に優れたより明瞭
な合成音声が得られる。
成される音声に対してスペクトル整形を行うと共に、合
成音声素片に対しても同様のスペクトル整形を行うこと
によって、スペクトル整形後の最終的な合成音声のレベ
ルで、自然音声に対する歪が小さくなるような代表音声
素片を生成できるため、「めりはり」に優れたより明瞭
な合成音声が得られる。
【００２２】本発明に係るさらに別の音声符号化方法
は、複数の第１の音声素片のピッチおよび継続時間長の
少なくとも一方に従って代表音声素片を用いて複数の合
成音声素片を生成し、これらの合成音声素片と複数の第
１の音声素片との間で定義される歪みの評価関数に基づ
いて複数の代表音声素片を求めて記憶し、これらの代表
音声素片から所定の代表音声素片を選択して接続するこ
とによって音声を合成することを特徴とする。
は、複数の第１の音声素片のピッチおよび継続時間長の
少なくとも一方に従って代表音声素片を用いて複数の合
成音声素片を生成し、これらの合成音声素片と複数の第
１の音声素片との間で定義される歪みの評価関数に基づ
いて複数の代表音声素片を求めて記憶し、これらの代表
音声素片から所定の代表音声素片を選択して接続するこ
とによって音声を合成することを特徴とする。
【００２３】このように第２に音声素片から代表音声素
片を選択するのでなく、第２の音声素片を用いずに第１
の音声素片に対して最適な代表音声素片を生成すること
も可能である。このようにして生成された代表音声素片
から、先と同様に所定の代表音声素片を選択して接続す
ることにより、自然音声に近い高品質の合成音声が生成
される。
片を選択するのでなく、第２の音声素片を用いずに第１
の音声素片に対して最適な代表音声素片を生成すること
も可能である。このようにして生成された代表音声素片
から、先と同様に所定の代表音声素片を選択して接続す
ることにより、自然音声に近い高品質の合成音声が生成
される。
【００２４】
【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を説明する。図１は、本発明の一実施形態に係
る音声合成方法を実現する音声合成装置の構成を示すブ
ロック図であり、大きく分けて合成単位学習系１と規則
合成系２からなる。実際にテキスト音声合成を行う場合
に動作するのは規則合成系２であり、合成単位学習系１
は事前に学習を行って代表音声素片を生成するものであ
る。
実施形態を説明する。図１は、本発明の一実施形態に係
る音声合成方法を実現する音声合成装置の構成を示すブ
ロック図であり、大きく分けて合成単位学習系１と規則
合成系２からなる。実際にテキスト音声合成を行う場合
に動作するのは規則合成系２であり、合成単位学習系１
は事前に学習を行って代表音声素片を生成するものであ
る。
【００２５】まず、合成単位学習系１について説明す
る。合成単位学習系１は、代表音声素片とこれに付随す
る音素環境クラスタを生成する代表音声素片生成部１１
と代表音声素片記憶部１２および音素環境クラスタ記憶
部１３により構成される。代表音声素片生成部１１に
は、第１の音声素片であるトレーニング音声素片１０１
とこれにラベル付けされた音素環境１０２および第２の
音声素片である入力音声素片１０３が入力される。
る。合成単位学習系１は、代表音声素片とこれに付随す
る音素環境クラスタを生成する代表音声素片生成部１１
と代表音声素片記憶部１２および音素環境クラスタ記憶
部１３により構成される。代表音声素片生成部１１に
は、第１の音声素片であるトレーニング音声素片１０１
とこれにラベル付けされた音素環境１０２および第２の
音声素片である入力音声素片１０３が入力される。
【００２６】代表音声素片生成部１１では、トレーニン
グ音声素片１０１にラベル付けされた音素環境１０２に
含まれるピッチ周期および継続時間長の情報に従って、
入力音声素片１０３のピッチ周期および継続時間長を変
更することで複数の合成音声素片が内部的に生成され、
さらにこれらの合成音声素片とトレーニング音声素片１
０１との距離尺度に従って、代表音声素片１０４と音素
環境クラスタ１０５が生成される。音素環境クラスタ１
０５は、トレーニング音声素片１０１を後述するように
音素環境に関するクラスタに分類して生成される。
グ音声素片１０１にラベル付けされた音素環境１０２に
含まれるピッチ周期および継続時間長の情報に従って、
入力音声素片１０３のピッチ周期および継続時間長を変
更することで複数の合成音声素片が内部的に生成され、
さらにこれらの合成音声素片とトレーニング音声素片１
０１との距離尺度に従って、代表音声素片１０４と音素
環境クラスタ１０５が生成される。音素環境クラスタ１
０５は、トレーニング音声素片１０１を後述するように
音素環境に関するクラスタに分類して生成される。
【００２７】代表音声素片１０４は代表音声素片記憶部
１２に記憶され、音素環境クラスタ１０５は代表音声素
片１０４と対応付けられて音素環境クラスタ記憶部１３
に記憶される。代表音声素片生成部１１の処理について
は、後に詳細に説明する。
１２に記憶され、音素環境クラスタ１０５は代表音声素
片１０４と対応付けられて音素環境クラスタ記憶部１３
に記憶される。代表音声素片生成部１１の処理について
は、後に詳細に説明する。
【００２８】次に、規則合成系２について説明する。規
則合成系２は、代表音声素片記憶部１２と音素環境クラ
スタ記憶部１３と素片選択部１４および音声合成部１５
により構成され、代表音声素片記憶部１２と音素環境ク
ラスタ記憶部１３を合成単位学習系１と共有している。
則合成系２は、代表音声素片記憶部１２と音素環境クラ
スタ記憶部１３と素片選択部１４および音声合成部１５
により構成され、代表音声素片記憶部１２と音素環境ク
ラスタ記憶部１３を合成単位学習系１と共有している。
【００２９】素片選択部１４には、入力音素の情報とし
て、例えばテキスト音声合成のために入力テキストの形
態素解析・構文解析後さらにアクセントやイントネーシ
ョン処理を行って得られた韻律情報１１１と音韻記号列
１１２が入力される。韻律情報１１１には、ピッチパタ
ーンおよび音韻継続時間長が含まれている。素片選択部
１４では、これらの韻律情報１１１と音韻記号列１１２
から入力音素の音素環境を内部的に生成する。
て、例えばテキスト音声合成のために入力テキストの形
態素解析・構文解析後さらにアクセントやイントネーシ
ョン処理を行って得られた韻律情報１１１と音韻記号列
１１２が入力される。韻律情報１１１には、ピッチパタ
ーンおよび音韻継続時間長が含まれている。素片選択部
１４では、これらの韻律情報１１１と音韻記号列１１２
から入力音素の音素環境を内部的に生成する。
【００３０】そして、素片選択部１４は音素環境クラス
タ記憶部１３より読み出された音素環境クラスタ１０６
を参照して、入力音素の音素環境がどの音素環境クラス
タに属するかを探索し、探索した音素環境クラスタに対
応する代表音声素片選択情報１０７を代表音声素片記憶
部１２へ出力する。
タ記憶部１３より読み出された音素環境クラスタ１０６
を参照して、入力音素の音素環境がどの音素環境クラス
タに属するかを探索し、探索した音素環境クラスタに対
応する代表音声素片選択情報１０７を代表音声素片記憶
部１２へ出力する。
【００３１】音声合成部１５は、代表音声素片選択情報
１０７に従って代表音声素片記憶部１２より選択的に読
み出された代表音声素片１０８に対して、韻律情報１１
１に従ってピッチ周期および音韻継続時間長を変更する
とともに、素片の接続を行って合成音声信号１１３を出
力する。ここで、ピッチおよび継続時間長を変更して素
片を接続し音声を合成する方法としては、例えば残差駆
動ＬＳＰ方法や波形編集方法など公知の技術を用いるこ
とができる。
１０７に従って代表音声素片記憶部１２より選択的に読
み出された代表音声素片１０８に対して、韻律情報１１
１に従ってピッチ周期および音韻継続時間長を変更する
とともに、素片の接続を行って合成音声信号１１３を出
力する。ここで、ピッチおよび継続時間長を変更して素
片を接続し音声を合成する方法としては、例えば残差駆
動ＬＳＰ方法や波形編集方法など公知の技術を用いるこ
とができる。
【００３２】次に、本発明の特徴をなす代表音声素片生
成部１１の処理の実施形態について具体的に説明する。
図２のフローチャートは、代表音声素片生成部１１の第
１の実施形態による処理手順を示している。
成部１１の処理の実施形態について具体的に説明する。
図２のフローチャートは、代表音声素片生成部１１の第
１の実施形態による処理手順を示している。
【００３３】この第１の実施形態による代表音声素片生
成処理では、まず準備段階として連続発声された多数の
音声データに対して音韻毎にラベリングを行い、ＣＶ，
ＶＣＶ，ＣＶＣなどの合成単位に従って、トレーニング
音声素片Ｔi （ｉ＝１，２，３，…，ＮT ）を切り出
す。また、各卜レーニング音声素片Ｔi に対応する音素
環境Ｐi （ｉ＝１，２，３，…，ＮT ）も抽出してお
く。ただし、ＮT はトレーニング音声素片の個数を表
す。音素環境Ｐi は、少なくともトレーニング音声素片
Ｔi の音韻とそのピッチおよび継続時間長の情報を含む
ものとし、その他に必要に応じて前後の音素などの情報
を含むものとする。
成処理では、まず準備段階として連続発声された多数の
音声データに対して音韻毎にラベリングを行い、ＣＶ，
ＶＣＶ，ＣＶＣなどの合成単位に従って、トレーニング
音声素片Ｔi （ｉ＝１，２，３，…，ＮT ）を切り出
す。また、各卜レーニング音声素片Ｔi に対応する音素
環境Ｐi （ｉ＝１，２，３，…，ＮT ）も抽出してお
く。ただし、ＮT はトレーニング音声素片の個数を表
す。音素環境Ｐi は、少なくともトレーニング音声素片
Ｔi の音韻とそのピッチおよび継続時間長の情報を含む
ものとし、その他に必要に応じて前後の音素などの情報
を含むものとする。
【００３４】次に、上述したトレーニング音声素片Ｔi
の作成と同様の方法により、多数の入力音声素片Ｓj
（ｉ＝１，２，３，…，ＮS ）を作成する。ただし、Ｎ
S は入力音声素片の個数を表す。ここで、入力音声素片
Ｓj としてはトレーニング音声素片Ｔi と同じものを使
用してもよいし（すなわちＴi ＝Ｓi ）、トレーニング
音声素片Ｔi とは異なる音声素片を作成してもよい。い
ずれにしても、豊富な音韻環境を有する多数のトレーニ
ング音声素片および入力音声素片が用意されていること
が望ましい。
の作成と同様の方法により、多数の入力音声素片Ｓj
（ｉ＝１，２，３，…，ＮS ）を作成する。ただし、Ｎ
S は入力音声素片の個数を表す。ここで、入力音声素片
Ｓj としてはトレーニング音声素片Ｔi と同じものを使
用してもよいし（すなわちＴi ＝Ｓi ）、トレーニング
音声素片Ｔi とは異なる音声素片を作成してもよい。い
ずれにしても、豊富な音韻環境を有する多数のトレーニ
ング音声素片および入力音声素片が用意されていること
が望ましい。
【００３５】このような準備段階を経た後、まず音声合
成ステップＳ２１で、音素環境Ｐiに含まれるピッチお
よび継続時間長に等しくなるように、入力音声素片Ｓj
のピッチおよび継続時間長を変更して音声を合成するこ
とにより、合成音声素片Ｇ
ｉｊを生成する。ここでのピッチおよび継続時間長の変
更は、音声合成部１５におけるピッチおよび継続時間長
の変更と同様の方法で行われるものとする。全ての音素
環境Ｐ ｉ （ｉ＝１，２，３，…，ＮT ）に従って入力
音声素片Ｓi （ｊ＝１，２，３，…，ＮS ）を用いて音
声の合成を行うことにより、ＮT ×ＮS 個の合成音声素
片Ｇij（ｉ＝１，２，３，…，ＮT 、ｊ＝１，２，３，
…，ＮS ）を生成する。
成ステップＳ２１で、音素環境Ｐiに含まれるピッチお
よび継続時間長に等しくなるように、入力音声素片Ｓj
のピッチおよび継続時間長を変更して音声を合成するこ
とにより、合成音声素片Ｇ
ｉｊを生成する。ここでのピッチおよび継続時間長の変
更は、音声合成部１５におけるピッチおよび継続時間長
の変更と同様の方法で行われるものとする。全ての音素
環境Ｐ ｉ （ｉ＝１，２，３，…，ＮT ）に従って入力
音声素片Ｓi （ｊ＝１，２，３，…，ＮS ）を用いて音
声の合成を行うことにより、ＮT ×ＮS 個の合成音声素
片Ｇij（ｉ＝１，２，３，…，ＮT 、ｊ＝１，２，３，
…，ＮS ）を生成する。
【００３６】次に、歪み評価ステップＳ２２では、合成
音声素片Ｇijの歪みｅijの評価を行う。この歪みｅijの
評価は、合成音声素片Ｇijとトレーニング音声素片Ｔi
との間の距離尺度を求めることにより行う。距離尺度に
は、何らかのスペクトル距離を用いることができる。例
えば、合成音声素片Ｇijおよびトレーニング音声素片Ｔ
i について、ＦＦＴ（高速フーリエ変換）などを用いて
パワースペクトルを求めて各パワースペクトル間の距離
を評価する方法や、あるいは線形予測分析を行ってＬＰ
ＣまたはＬＳＰパラメータなどを求めて各パラメータ間
の距離を評価する方法などがある。その他にも、短時間
フーリエ変換やウェーブレット変換などの変換係数を用
いて評価する方法も用いることができる。また、各素片
のパワーを正規化した上で歪みの評価を行う方法でもよ
い。
音声素片Ｇijの歪みｅijの評価を行う。この歪みｅijの
評価は、合成音声素片Ｇijとトレーニング音声素片Ｔi
との間の距離尺度を求めることにより行う。距離尺度に
は、何らかのスペクトル距離を用いることができる。例
えば、合成音声素片Ｇijおよびトレーニング音声素片Ｔ
i について、ＦＦＴ（高速フーリエ変換）などを用いて
パワースペクトルを求めて各パワースペクトル間の距離
を評価する方法や、あるいは線形予測分析を行ってＬＰ
ＣまたはＬＳＰパラメータなどを求めて各パラメータ間
の距離を評価する方法などがある。その他にも、短時間
フーリエ変換やウェーブレット変換などの変換係数を用
いて評価する方法も用いることができる。また、各素片
のパワーを正規化した上で歪みの評価を行う方法でもよ
い。
【００３７】次に、代表音声素片生成ステップＳ２３で
は、ステップＳ２２で得られた歪みｅijに基づいて、入
力音声素片Ｓj の中から指定された代表音声素片数Νの
代表音声素片Ｄk （ｋ＝１，２，３，…，Ｎ）を選択す
る。
は、ステップＳ２２で得られた歪みｅijに基づいて、入
力音声素片Ｓj の中から指定された代表音声素片数Νの
代表音声素片Ｄk （ｋ＝１，２，３，…，Ｎ）を選択す
る。
【００３８】代表音声素片選択法の一例を説明する。入
力音声素片Ｓj の中から選択されたＮ個の音声素片の集
合Ｕ＝｛ｕk ｜ｕk ＝Ｓj （ｋ＝１，２，３，…，Ｎ）
に対して、歪みの総和を表す評価関数ＥD1（Ｕ）を次式
（１）のように定義する。
力音声素片Ｓj の中から選択されたＮ個の音声素片の集
合Ｕ＝｛ｕk ｜ｕk ＝Ｓj （ｋ＝１，２，３，…，Ｎ）
に対して、歪みの総和を表す評価関数ＥD1（Ｕ）を次式
（１）のように定義する。
【００３９】
【数１】
【００４０】ただし、ｍｉｎ（ｅij1 ，ｅij2 ，ｅ
ij3 ，…，ｅijN ）はｅij1 ，ｅij2 ，ｅij3 ，…，ｅ
ijN の中の最小値を表す関数である。集合Ｕの組合せは
ＮS ！／｛Ｎ！（ＮS −Ｎ）！｝通りあり、これらの音
声素片の集合Ｕの中から評価関数ＥD1（Ｕ）を最小にす
るＵを探索し、その要素ｕk を代表音声素片Ｄk とす
る。
ij3 ，…，ｅijN ）はｅij1 ，ｅij2 ，ｅij3 ，…，ｅ
ijN の中の最小値を表す関数である。集合Ｕの組合せは
ＮS ！／｛Ｎ！（ＮS −Ｎ）！｝通りあり、これらの音
声素片の集合Ｕの中から評価関数ＥD1（Ｕ）を最小にす
るＵを探索し、その要素ｕk を代表音声素片Ｄk とす
る。
【００４１】最後に、音素環境クラスタ生成ステップＳ
２４では、音素環境Ｐi 、歪みｅijおよび代表音声素片
Ｄk より、音素環境に関する複数のクラスタ（音素環境
クラスタ）Ｃk （ｋ＝１，２，３，…，Ν）を生成す
る。音素環境クラスタＣk は、例えば次式（２）で表さ
れるクラスタリングの評価関数ＥC1を最小化するクラス
タを探索することによって得られる。
２４では、音素環境Ｐi 、歪みｅijおよび代表音声素片
Ｄk より、音素環境に関する複数のクラスタ（音素環境
クラスタ）Ｃk （ｋ＝１，２，３，…，Ν）を生成す
る。音素環境クラスタＣk は、例えば次式（２）で表さ
れるクラスタリングの評価関数ＥC1を最小化するクラス
タを探索することによって得られる。
【００４２】
【数２】
【００４３】こうしてステップＳ２３およびＳ２４で生
成された代表音声素片Ｄk および音素環境クラスタＣk
は、図１の代表音声素片記憶部１２および音素環境クラ
スタ記憶部１３にそれぞれ記憶される。
成された代表音声素片Ｄk および音素環境クラスタＣk
は、図１の代表音声素片記憶部１２および音素環境クラ
スタ記憶部１３にそれぞれ記憶される。
【００４４】次に、図３のフローチャートを参照して代
表音声素片生成部１１の第２の実施形態による処理手順
について説明する。この第２の実施形態による代表音声
素片生成処理では、まず初期音素環境クラスタ生成ステ
ップＳ３０において、何らかの先見的な知識に基づいて
予め音素環境のクラスタリングを行い、初期音素環境ク
ラスタを生成する。音素環境のクラスタリングには、例
えば音韻によるクラスタリングを行うことができる。
表音声素片生成部１１の第２の実施形態による処理手順
について説明する。この第２の実施形態による代表音声
素片生成処理では、まず初期音素環境クラスタ生成ステ
ップＳ３０において、何らかの先見的な知識に基づいて
予め音素環境のクラスタリングを行い、初期音素環境ク
ラスタを生成する。音素環境のクラスタリングには、例
えば音韻によるクラスタリングを行うことができる。
【００４５】そして、入力音声素片Ｓj およびトレーニ
ング音声素片Ｔi のうち音韻が一致する音声素片のみを
それぞれ用いて、図２のステップＳ２１，Ｓ２２，Ｓ２
３，Ｓ２４と同様の合成音声素片生成ステップＳ３１、
歪み評価ステップＳ３２、代表音声素片生成ステップＳ
３３、音素環境クラスタ生成ステップＳ３４の処理を順
次行い、全ての初期音素環境クラスタについて同様の操
作を繰り返すことにより、全ての代表音声素片およびそ
れに対応する音素環境クラスタの生成を行う。こうして
生成された代表音声素片および音素環境クラスタは、図
１の代表音声素片記憶部１２および音素環境クラスタ記
憶部１３にそれぞれ記憶される。
ング音声素片Ｔi のうち音韻が一致する音声素片のみを
それぞれ用いて、図２のステップＳ２１，Ｓ２２，Ｓ２
３，Ｓ２４と同様の合成音声素片生成ステップＳ３１、
歪み評価ステップＳ３２、代表音声素片生成ステップＳ
３３、音素環境クラスタ生成ステップＳ３４の処理を順
次行い、全ての初期音素環境クラスタについて同様の操
作を繰り返すことにより、全ての代表音声素片およびそ
れに対応する音素環境クラスタの生成を行う。こうして
生成された代表音声素片および音素環境クラスタは、図
１の代表音声素片記憶部１２および音素環境クラスタ記
憶部１３にそれぞれ記憶される。
【００４６】ただし、各初期音素環境クラスタ当たりの
代表音声素片数が１であれば、初期音素環境クラスタが
代表音声素片の音素環境クラスタとなるため、音素環境
クラスタ生成ステップＳ３４は不要となり、初期音素環
境クラスタを音素環境クラスタ記憶部１３に記憶すれば
よい。
代表音声素片数が１であれば、初期音素環境クラスタが
代表音声素片の音素環境クラスタとなるため、音素環境
クラスタ生成ステップＳ３４は不要となり、初期音素環
境クラスタを音素環境クラスタ記憶部１３に記憶すれば
よい。
【００４７】次に、図４のフローチャートを参照して代
表音声素片生成部１１の第３の実施形態による処理手順
を説明する。この第３の実施形態による代表音声素片生
成処理では、図２に示した第１の実施形態と同様に音声
合成ステップＳ４１および歪み評価ステップＳ４２を順
次経た後、次の音素環境クラスタ生成ステップＳ４３に
おいて、音素環境Ｐi および歪みｅijに基づいて音素環
境に関するクラスタＣk （ｋ＝１，２，３，…，Ν）を
生成する。音素環境クラスタＣk は、例えば次式（３）
（４）で表わされるクラスタリングの評価関数ＥC2を最
小化するクラスタを探索することによって得られる。
表音声素片生成部１１の第３の実施形態による処理手順
を説明する。この第３の実施形態による代表音声素片生
成処理では、図２に示した第１の実施形態と同様に音声
合成ステップＳ４１および歪み評価ステップＳ４２を順
次経た後、次の音素環境クラスタ生成ステップＳ４３に
おいて、音素環境Ｐi および歪みｅijに基づいて音素環
境に関するクラスタＣk （ｋ＝１，２，３，…，Ν）を
生成する。音素環境クラスタＣk は、例えば次式（３）
（４）で表わされるクラスタリングの評価関数ＥC2を最
小化するクラスタを探索することによって得られる。
【００４８】
【数３】
【００４９】次に、代表音声素片生成ステップＳ４４に
おいて、歪みｅijに基づいて音素環境クラスタＣk のそ
れぞれに対応する代表音声素片Ｄk を入力音声素片Ｓj
より選択する。この代表音声素片Ｄk は、入力音声素片
Ｓj から例えば次式（５）で表される歪み評価関数ＥD2
(j) を最小化する音声素片を探索することによって得ら
れる。
おいて、歪みｅijに基づいて音素環境クラスタＣk のそ
れぞれに対応する代表音声素片Ｄk を入力音声素片Ｓj
より選択する。この代表音声素片Ｄk は、入力音声素片
Ｓj から例えば次式（５）で表される歪み評価関数ＥD2
(j) を最小化する音声素片を探索することによって得ら
れる。
【００５０】
【数４】
【００５１】なお、この第３の実施形態による代表音声
素片生成処理を変形し、第２の実施形態と同様に、何ら
かの先見的な知識に基づいて予め生成した初期音素環境
クラスタ毎に代表音声素片の生成および音素環境クラス
タの生成を行うことも可能である。
素片生成処理を変形し、第２の実施形態と同様に、何ら
かの先見的な知識に基づいて予め生成した初期音素環境
クラスタ毎に代表音声素片の生成および音素環境クラス
タの生成を行うことも可能である。
【００５２】次に、図５〜図９を用いて本発明の他の実
施形態について説明する。図５は、本発明の他の実施形
態に係る音声合成方法を実現する音声合成装置の構成を
示すブロック図である。図１と相対応する部分に同一の
参照符号を付して相違点を中心に説明すると、本実施形
態では音声合成部１５の後段に適応ポストフィルタ１６
が追加されている点が先の実施形態と異なり、これに加
えて代表音声素片生成部１１における複数の合成音声素
片の生成法も先の実施形態と異なっている。
施形態について説明する。図５は、本発明の他の実施形
態に係る音声合成方法を実現する音声合成装置の構成を
示すブロック図である。図１と相対応する部分に同一の
参照符号を付して相違点を中心に説明すると、本実施形
態では音声合成部１５の後段に適応ポストフィルタ１６
が追加されている点が先の実施形態と異なり、これに加
えて代表音声素片生成部１１における複数の合成音声素
片の生成法も先の実施形態と異なっている。
【００５３】すなわち、代表音声素片生成部１１では先
の実施形態と同様に、トレーニング音声素片１０１にラ
ベル付けされた音素環境１０２に含まれるピッチ周期お
よび継続時間長の情報に従って、入力音声素片１０３の
ピッチ周期および継続時間長を変更することで複数の合
成音声素片を内部的に生成した後、これらの合成音声素
片に対して適応ポストフィルタによるフィルタリングを
施してスペクトル整形を行う。そして、この適応ポスト
フィルタによりスペクトル整形を行った後の各合成音声
素片とトレーニング音声素片１０１との距離尺度に従っ
て、代表音声素片１０４と音素環境クラスタ１０５が生
成される。音素環境クラスタ１０５は、先の実施形態と
同様にトレーニング音声素片１０１を音素環境に関する
クラスタに分類して生成される。
の実施形態と同様に、トレーニング音声素片１０１にラ
ベル付けされた音素環境１０２に含まれるピッチ周期お
よび継続時間長の情報に従って、入力音声素片１０３の
ピッチ周期および継続時間長を変更することで複数の合
成音声素片を内部的に生成した後、これらの合成音声素
片に対して適応ポストフィルタによるフィルタリングを
施してスペクトル整形を行う。そして、この適応ポスト
フィルタによりスペクトル整形を行った後の各合成音声
素片とトレーニング音声素片１０１との距離尺度に従っ
て、代表音声素片１０４と音素環境クラスタ１０５が生
成される。音素環境クラスタ１０５は、先の実施形態と
同様にトレーニング音声素片１０１を音素環境に関する
クラスタに分類して生成される。
【００５４】なお、この代表音声素片生成部１１におい
て音素環境１０２に含まれるピッチ周期および継続時間
長の情報に従って入力音声素片１０３のピッチ周期およ
び継続時間長を変更して生成される複数の合成音声素片
に対してフィルタリングを施してスペクトル整形を行う
適応ポストフィルタは、音声合成部１５の後段に配置さ
れる適応ポストフィルタ１６と同様の構成でよい。
て音素環境１０２に含まれるピッチ周期および継続時間
長の情報に従って入力音声素片１０３のピッチ周期およ
び継続時間長を変更して生成される複数の合成音声素片
に対してフィルタリングを施してスペクトル整形を行う
適応ポストフィルタは、音声合成部１５の後段に配置さ
れる適応ポストフィルタ１６と同様の構成でよい。
【００５５】一方、音声合成部１５では先の実施形態と
同様に代表音声素片選択情報１０７に従って代表音声素
片記憶部１２より選択的に読み出された代表音声素片１
０８に対し、韻律情報１１１に従ってピッチ周期および
音韻継続時間長を変更するとともに、素片の接続を行っ
て合成音声信号１１３を生成するが、本実施形態ではこ
の合成音声信号１１３がさらに適応ポストフィルタ１６
に入力され、ここで音質向上のためのスペクトル整形が
行われた後、最終的な合成音声信号１１４が取り出され
る。
同様に代表音声素片選択情報１０７に従って代表音声素
片記憶部１２より選択的に読み出された代表音声素片１
０８に対し、韻律情報１１１に従ってピッチ周期および
音韻継続時間長を変更するとともに、素片の接続を行っ
て合成音声信号１１３を生成するが、本実施形態ではこ
の合成音声信号１１３がさらに適応ポストフィルタ１６
に入力され、ここで音質向上のためのスペクトル整形が
行われた後、最終的な合成音声信号１１４が取り出され
る。
【００５６】図６に、適応ポストフィルタ１６の一構成
例を示す。この適応ポストフィルタ１６は、ホルマント
強調フィルタ２１とピッチ強調フィルタ２２を縦続配置
して構成される。
例を示す。この適応ポストフィルタ１６は、ホルマント
強調フィルタ２１とピッチ強調フィルタ２２を縦続配置
して構成される。
【００５７】ホルマント強調フィルタ２１は、代表音声
素片選択情報１０７に従って代表音声素片記憶部１２か
ら選択的に読み出された代表音声素片１０８をＬＰＣ分
析して得られるＬＰＣ係数に基づいて決定されるフィル
タ係数に従って、音声合成部１５から入力される合成音
声信号１１３をフィルタリングすることにより、スペク
トルの山の部分を強調する処理を行う。一方、ピッチ強
調フィルタ２２は、韻律情報１１１に含まれるピッチ周
期に基づいて決定されるパラメータに従って、ホルマン
ト強調フィルタ２１の出力をフィルタリングすることに
より、音声信号のピッチを強調する処理を行う。なお、
ホルマント強調フィルタ２１とピッチ強調フィルタ２２
の配置順序は逆であってもよい。
素片選択情報１０７に従って代表音声素片記憶部１２か
ら選択的に読み出された代表音声素片１０８をＬＰＣ分
析して得られるＬＰＣ係数に基づいて決定されるフィル
タ係数に従って、音声合成部１５から入力される合成音
声信号１１３をフィルタリングすることにより、スペク
トルの山の部分を強調する処理を行う。一方、ピッチ強
調フィルタ２２は、韻律情報１１１に含まれるピッチ周
期に基づいて決定されるパラメータに従って、ホルマン
ト強調フィルタ２１の出力をフィルタリングすることに
より、音声信号のピッチを強調する処理を行う。なお、
ホルマント強調フィルタ２１とピッチ強調フィルタ２２
の配置順序は逆であってもよい。
【００５８】このような適応ポストフィルタ１６の適用
によりスペクトルが整形され、「めりはり」のある明瞭
な音声を再生可能な合成音声信号１１４が得られる。適
応ポストフィルタ１６としては図６に示した構成のもの
に限られず、音声符号化や音声合成の分野で用いられる
公知の技術に基づく種々の構成を採用することが可能で
ある。
によりスペクトルが整形され、「めりはり」のある明瞭
な音声を再生可能な合成音声信号１１４が得られる。適
応ポストフィルタ１６としては図６に示した構成のもの
に限られず、音声符号化や音声合成の分野で用いられる
公知の技術に基づく種々の構成を採用することが可能で
ある。
【００５９】このように本実施形態では、規則合成系２
において音声合成部１５の後段に適応ポストフィルタ１
６が配置される点を考慮して、合成単位学習系１におい
ても代表音声素片生成部１１で音素環境１０２に含まれ
るピッチ周期および継続時間長の情報に従って入力音声
素片１０３のピッチ周期および継続時間長を変更して生
成される複数の合成音声素片に対し、同様に適応ポスト
フィルタによるフィルタリングを行っている。従って、
適応ポストフィルタ１６を通した後の最終的な合成音声
信号１１４と同様のレベルで、自然音声に対する歪みが
小さくなるような代表音声素片を代表音声素片生成部１
１において生成できるため、さらに自然音声に近い合成
音声を生成することが可能となる。
において音声合成部１５の後段に適応ポストフィルタ１
６が配置される点を考慮して、合成単位学習系１におい
ても代表音声素片生成部１１で音素環境１０２に含まれ
るピッチ周期および継続時間長の情報に従って入力音声
素片１０３のピッチ周期および継続時間長を変更して生
成される複数の合成音声素片に対し、同様に適応ポスト
フィルタによるフィルタリングを行っている。従って、
適応ポストフィルタ１６を通した後の最終的な合成音声
信号１１４と同様のレベルで、自然音声に対する歪みが
小さくなるような代表音声素片を代表音声素片生成部１
１において生成できるため、さらに自然音声に近い合成
音声を生成することが可能となる。
【００６０】次に、図５における代表音声素片生成部１
１の処理の実施形態について具体的に説明する。図７、
図８および図９のフローチャートは、図５における代表
音声素片生成部１１の第１、第２および第３の実施形態
による処理手順を示している。図７、図８および図９で
は、先に説明した図２、図３および図４に示した処理手
順における音声合成ステップＳ２１、Ｓ３１およびＳ４
１の後に、ポストフィルタリングステップＳ２５、Ｓ３
６およびＳ４５が追加されている。
１の処理の実施形態について具体的に説明する。図７、
図８および図９のフローチャートは、図５における代表
音声素片生成部１１の第１、第２および第３の実施形態
による処理手順を示している。図７、図８および図９で
は、先に説明した図２、図３および図４に示した処理手
順における音声合成ステップＳ２１、Ｓ３１およびＳ４
１の後に、ポストフィルタリングステップＳ２５、Ｓ３
６およびＳ４５が追加されている。
【００６１】ポストフィルタリングステップＳ２５、Ｓ
３６およびＳ４５では、前述した適応ポストフィルタに
よるフィルタリングを行う。すなわち、音声合成ステッ
プＳ２１、Ｓ３１およびＳ４１で生成された合成音声素
片Ｇijに対し、入力音声素片Ｓi をＬＰＣ分析して得ら
れるＬＰＣ係数に基づいて決定されるフィルタ係数に従
ってフィルタリングを行うことにより、スペクトルの山
の部分を強調するホルマント強調を行う。また、このホ
ルマント強調後の合成音声素片に対し、さらにトレーニ
ング音声素片Ｔi のピッチ周期に基づいて決定されるパ
ラメータに従ってフィルタリングを行うことにより、ピ
ッチ強調を行う。
３６およびＳ４５では、前述した適応ポストフィルタに
よるフィルタリングを行う。すなわち、音声合成ステッ
プＳ２１、Ｓ３１およびＳ４１で生成された合成音声素
片Ｇijに対し、入力音声素片Ｓi をＬＰＣ分析して得ら
れるＬＰＣ係数に基づいて決定されるフィルタ係数に従
ってフィルタリングを行うことにより、スペクトルの山
の部分を強調するホルマント強調を行う。また、このホ
ルマント強調後の合成音声素片に対し、さらにトレーニ
ング音声素片Ｔi のピッチ周期に基づいて決定されるパ
ラメータに従ってフィルタリングを行うことにより、ピ
ッチ強調を行う。
【００６２】このようにして、ポストフィルタリングス
テップＳ２５、Ｓ３６およびＳ４５において、スペクト
ル整形を行う。このポストフィルタリングステップＳ２
５、Ｓ３６およびＳ４５は、前述したように規則合成系
２において音声合成部１５の後段に設けられる適応ポス
トフィルタ１６により合成音声信号１１３のスペクトル
整形を行って音質の向上を図るポストフィルタリングを
行うことを前提に、合成単位の学習を可能とする処理で
あり、この処理を適応ポストフィルタ１６による処理と
組み合わせることによって、最終的に「めりはり」のあ
る明瞭な合成音声信号１１４が生成される。
テップＳ２５、Ｓ３６およびＳ４５において、スペクト
ル整形を行う。このポストフィルタリングステップＳ２
５、Ｓ３６およびＳ４５は、前述したように規則合成系
２において音声合成部１５の後段に設けられる適応ポス
トフィルタ１６により合成音声信号１１３のスペクトル
整形を行って音質の向上を図るポストフィルタリングを
行うことを前提に、合成単位の学習を可能とする処理で
あり、この処理を適応ポストフィルタ１６による処理と
組み合わせることによって、最終的に「めりはり」のあ
る明瞭な合成音声信号１１４が生成される。
【００６３】次に、図１０〜図１３を用いて本発明の別
の実施形態について説明する。図１０は、本発明の他の
実施形態に係る音声合成方法を実現する音声合成装置の
構成を示すブロック図である。図１と相対応する部分に
同一の参照符号を付して相違点を中心に説明すると、本
実施形態では代表音声素片生成部３１に入力音声素片１
０３が入力されていない点がこれまでの実施形態と異な
っている。
の実施形態について説明する。図１０は、本発明の他の
実施形態に係る音声合成方法を実現する音声合成装置の
構成を示すブロック図である。図１と相対応する部分に
同一の参照符号を付して相違点を中心に説明すると、本
実施形態では代表音声素片生成部３１に入力音声素片１
０３が入力されていない点がこれまでの実施形態と異な
っている。
【００６４】すなわち、本実施形態では先の実施形態の
ように入力音声素片１０３の中から選択した音声素片を
代表音声素片１０４とするのではなく、トレーニング音
声素片１０１に対して最適な代表音声素片１０４を計算
によって新たに生成する。音素環境クラスタ１０５は、
先の実施形態と同様にトレーニング音声素片１０１を音
素環境に関するクラスタに分類して生成される。
ように入力音声素片１０３の中から選択した音声素片を
代表音声素片１０４とするのではなく、トレーニング音
声素片１０１に対して最適な代表音声素片１０４を計算
によって新たに生成する。音素環境クラスタ１０５は、
先の実施形態と同様にトレーニング音声素片１０１を音
素環境に関するクラスタに分類して生成される。
【００６５】次に、図１０における代表音声素片生成部
３１の処理の実施形態について具体的に説明する。図１
１のフローチャートは、代表音声素片生成部３１の第１
の実施形態による処理手順を示している。この第１の実
施形態による代表音声素片生成処理では、先の実施形態
の代表音声素片生成部１１における代表音声素片生成処
理と同様に、まず、準備段階として連続発声された多数
の音声データに音韻毎にラベリングを行い、ＣＶ，ＶＣ
Ｖ，ＣＶＣなどの合成単位に従ってトレーニング音声素
片Ｔi （ｉ＝１，２，３，…，ＮT ）を切り出す。ま
た、各トレーニング音声素片に対応する音素環境Ｐ
i（１，２，３，…，Ｎｒ）を抽出しておく。ただし、
ＮT はトレーニング音声素片の個数を表す。音素環境
は、少なくとも当該トレーニング音声素片の音韻とその
ピッチパターンおよび継続時間長を含むものとし、その
他に必要に応じて前後の音素などを含むものとする。
３１の処理の実施形態について具体的に説明する。図１
１のフローチャートは、代表音声素片生成部３１の第１
の実施形態による処理手順を示している。この第１の実
施形態による代表音声素片生成処理では、先の実施形態
の代表音声素片生成部１１における代表音声素片生成処
理と同様に、まず、準備段階として連続発声された多数
の音声データに音韻毎にラベリングを行い、ＣＶ，ＶＣ
Ｖ，ＣＶＣなどの合成単位に従ってトレーニング音声素
片Ｔi （ｉ＝１，２，３，…，ＮT ）を切り出す。ま
た、各トレーニング音声素片に対応する音素環境Ｐ
i（１，２，３，…，Ｎｒ）を抽出しておく。ただし、
ＮT はトレーニング音声素片の個数を表す。音素環境
は、少なくとも当該トレーニング音声素片の音韻とその
ピッチパターンおよび継続時間長を含むものとし、その
他に必要に応じて前後の音素などを含むものとする。
【００６６】このような準備段階を経た後、まず代表音
声素片初期化ステップＳ５１で、指定された代表音声素
片数Ｎの代表音声素片Ｄk （ｋ＝１，２，３，…，Ｎ）
を初期化して初期代表音声素片Ｄk 0 （ｋ＝１，２，
３，…，Ｎ）を生成する。初期代表音声素片Ｄk 0 とし
ては、任意の音声素片を用いることが可能であり、例え
ばトレーニング音声素片Ｔi からランダムに選択された
素片を用いることができる。
声素片初期化ステップＳ５１で、指定された代表音声素
片数Ｎの代表音声素片Ｄk （ｋ＝１，２，３，…，Ｎ）
を初期化して初期代表音声素片Ｄk 0 （ｋ＝１，２，
３，…，Ｎ）を生成する。初期代表音声素片Ｄk 0 とし
ては、任意の音声素片を用いることが可能であり、例え
ばトレーニング音声素片Ｔi からランダムに選択された
素片を用いることができる。
【００６７】次に、音声合成ステップＳ５２で、Ｄk 0
のピッチおよび継続時間長をＰi のピッチパターンおよ
び継続時間長に等しくなるように変更して音声を合成し
て合成音声素片Ｇikを生成する。ここでのピッチおよび
継続時間長の変更は、音声合成部２０におけるピッチお
よび継続時間長の変更と同様の方法で行われるものとす
る。全てのＰi （ｉ＝１，２，３，…，ＮT ）に従って
Ｄk 0 （ｋ＝１，２，３，…，ＮT ）を用いて合成を行
うことにより、ＮT ×Ｎ個の合成音声素片Ｇik（ｉ＝
１，２，３，…，ＮT 、ｋ＝１，２，３，…Ｎ）を生成
する。
のピッチおよび継続時間長をＰi のピッチパターンおよ
び継続時間長に等しくなるように変更して音声を合成し
て合成音声素片Ｇikを生成する。ここでのピッチおよび
継続時間長の変更は、音声合成部２０におけるピッチお
よび継続時間長の変更と同様の方法で行われるものとす
る。全てのＰi （ｉ＝１，２，３，…，ＮT ）に従って
Ｄk 0 （ｋ＝１，２，３，…，ＮT ）を用いて合成を行
うことにより、ＮT ×Ｎ個の合成音声素片Ｇik（ｉ＝
１，２，３，…，ＮT 、ｋ＝１，２，３，…Ｎ）を生成
する。
【００６８】次に、歪み評価ステップＳ５３では、合成
音声素片Ｇikとトレーニングとの間で定義される歪みｅ
ijの評価を行う。歪みの評価法としては、波形の２乗誤
差や何らかのスペクトル距離を用いることができる。例
えば、ＦＦＴなどを用いてパワースペクトルを求めてそ
の間の距離を求める方法や、あるいは線形予測分析を行
ってＬＰＣまたはＬＳＰパラメータなどを求めてパラメ
ータ間の距離を評価する方法などがある。その他にも、
短時間フーリエ変換やウェーブレット変換などの変換係
数を用いて評価する方法が考えられる。また、各素片の
パワーを正規化した上で歪みの評価を行うことも考えら
れる。
音声素片Ｇikとトレーニングとの間で定義される歪みｅ
ijの評価を行う。歪みの評価法としては、波形の２乗誤
差や何らかのスペクトル距離を用いることができる。例
えば、ＦＦＴなどを用いてパワースペクトルを求めてそ
の間の距離を求める方法や、あるいは線形予測分析を行
ってＬＰＣまたはＬＳＰパラメータなどを求めてパラメ
ータ間の距離を評価する方法などがある。その他にも、
短時間フーリエ変換やウェーブレット変換などの変換係
数を用いて評価する方法が考えられる。また、各素片の
パワーを正規化した上で歪みの評価を行うことも考えら
れる。
【００６９】次に、音素環境クラスタ生成ステップＳ５
４では音素環境Ｐi および歪みｅikに基づいて、音素環
境に関するクラスタＣk （ｋ＝１，２，３，…，Ｎ）を
生成する。音素環境クラスタＣk は、例えば次式で表さ
れるクラスタリングの評価関数ＥC3を最小化するクラス
タを探索することによって得られる。
４では音素環境Ｐi および歪みｅikに基づいて、音素環
境に関するクラスタＣk （ｋ＝１，２，３，…，Ｎ）を
生成する。音素環境クラスタＣk は、例えば次式で表さ
れるクラスタリングの評価関数ＥC3を最小化するクラス
タを探索することによって得られる。
【００７０】
【数５】
【００７１】但し、次式に示されるように全ての音素環
境クラスタＣk （ｋ＝１，２，３，…，Ｎ）の和集合は
音素環境の全体集合Ａと等しく、かつ任意の異なる２つ
の音素環境クラスタの積集合は空集合φになるものとす
る。
境クラスタＣk （ｋ＝１，２，３，…，Ｎ）の和集合は
音素環境の全体集合Ａと等しく、かつ任意の異なる２つ
の音素環境クラスタの積集合は空集合φになるものとす
る。
【００７２】
【数６】
【００７３】次に、代表音声素片生成ステップＳ５５で
は、代表音声素片を更新するため、クラスタＣk に対応
する代表音声素片Ｄk 1 をクラスタ毎に求める。代表音
声素片Ｄk 1 は、クラスタに属するトレーニング音声素
片と、対応する合成音声素片との歪みの総和を表す評価
関数が最小になるように計算される。評価関数として
は、例えば次式に示す波形の２乗誤差の総和を用いるこ
とができる。
は、代表音声素片を更新するため、クラスタＣk に対応
する代表音声素片Ｄk 1 をクラスタ毎に求める。代表音
声素片Ｄk 1 は、クラスタに属するトレーニング音声素
片と、対応する合成音声素片との歪みの総和を表す評価
関数が最小になるように計算される。評価関数として
は、例えば次式に示す波形の２乗誤差の総和を用いるこ
とができる。
【００７４】
【数７】
【００７５】但し、ｔi はトレーニング音声素片Ｔi の
波形を表すベクトル、ｇik（Ｄk ）はＰi に従ってＤk
を用いて合成された合成音声素片Ｇikの波形を表すベク
トルである。また、評価関数の例としては、これ以外に
もパワースペクトルの距離やＬＰＣ，ＬＳＰなどのパラ
メータ間の距離の総和などがある。評価関数を代表音声
素片で偏微分したものを０とおいた方程式が解ける場合
には、これを解いて評価関数を最小にする代表音声素片
を解析的に求めることができる。それ以外の場合は、公
知の最適化手法を用いて代表音声素片を求めることがで
きる。
波形を表すベクトル、ｇik（Ｄk ）はＰi に従ってＤk
を用いて合成された合成音声素片Ｇikの波形を表すベク
トルである。また、評価関数の例としては、これ以外に
もパワースペクトルの距離やＬＰＣ，ＬＳＰなどのパラ
メータ間の距離の総和などがある。評価関数を代表音声
素片で偏微分したものを０とおいた方程式が解ける場合
には、これを解いて評価関数を最小にする代表音声素片
を解析的に求めることができる。それ以外の場合は、公
知の最適化手法を用いて代表音声素片を求めることがで
きる。
【００７６】このようにステップＳ５２からＳ５５まで
の処理で、初期代表音声素片Ｄk 0から代表音声素片Ｄk
1 に更新される。代表音声素片が更新されたことによ
って音素環境クラスタが変化するため、代表音声素片お
よび音素環境クラスタの変化が十分小さくなり収束する
まで、ステップＳ５２からＳ５５までの処理を繰り返す
必要がある。
の処理で、初期代表音声素片Ｄk 0から代表音声素片Ｄk
1 に更新される。代表音声素片が更新されたことによ
って音素環境クラスタが変化するため、代表音声素片お
よび音素環境クラスタの変化が十分小さくなり収束する
まで、ステップＳ５２からＳ５５までの処理を繰り返す
必要がある。
【００７７】そこで、次の収束判定ステップＳ５６で
は、更新の前後における代表音声素片の変化の度合から
代表音声素片および音素環境クラスタの変化が収束した
か否かを判定し、収束していないと判定された場合はス
テップＳ５２からＳ５５までの処理を繰り返してさらに
代表音声素片を更新し、収束したと判定された場合は処
理を終了し、最新の代表音声素片Ｄk m （ｋ＝１，２，
３，…，Ｎ、ｍは繰り返し回数）が代表音声素片Ｄk
（ｋ＝１，２，３，…，Ｎ）となる。
は、更新の前後における代表音声素片の変化の度合から
代表音声素片および音素環境クラスタの変化が収束した
か否かを判定し、収束していないと判定された場合はス
テップＳ５２からＳ５５までの処理を繰り返してさらに
代表音声素片を更新し、収束したと判定された場合は処
理を終了し、最新の代表音声素片Ｄk m （ｋ＝１，２，
３，…，Ｎ、ｍは繰り返し回数）が代表音声素片Ｄk
（ｋ＝１，２，３，…，Ｎ）となる。
【００７８】こうして生成された代表音声素片Ｄk およ
び音素環境クラスタＣk は、図１０の代表音声素片記憶
部１２および音素環境クラスタ記憶部１３にそれぞれ記
憶される。
び音素環境クラスタＣk は、図１０の代表音声素片記憶
部１２および音素環境クラスタ記憶部１３にそれぞれ記
憶される。
【００７９】次に、図１２のフローチャートを参照して
代表音声素片生成部３１の第２の実施形態による処理手
順について説明する。この第２の実施形態による代表音
声素片生成処理では、まず初期音素環境クラスタ生成ス
テップＳ６１において、何らかの先見的な知識に基づい
て予め音素環境のクラスタリングを行い、初期音素環境
クラスタを生成する。音素環境のクラスタリングには、
例えば音韻によるクラスタリングを行うことができる。
代表音声素片生成部３１の第２の実施形態による処理手
順について説明する。この第２の実施形態による代表音
声素片生成処理では、まず初期音素環境クラスタ生成ス
テップＳ６１において、何らかの先見的な知識に基づい
て予め音素環境のクラスタリングを行い、初期音素環境
クラスタを生成する。音素環境のクラスタリングには、
例えば音韻によるクラスタリングを行うことができる。
【００８０】そして、トレーニング音声素片Ｔi のうち
音韻が一致する音声素片のみを用いて、図１１のステッ
プＳ５１、Ｓ５２、Ｓ５３、Ｓ５４、Ｓ５５、Ｓ５６と
同様の代表音声素片初期化ステップＳ６２、音声合成ス
テップＳ６３、歪み評価ステップＳ６４、音素環境クラ
スタ生成ステップＳ６５、代表音声素片生成ステップＳ
６６、収束判定ステップＳ６７の処理を順次行い、全て
の初期音素環境クラスタについて同様の操作を繰り返す
ことにより、全ての代表音声素片およびそれに対応する
音素環境クラスタの生成を行う。こうして生成された代
表音声素片および音素環境クラスタは、図１０の代表音
声素片記憶部１２および音素環境クラスタ記憶部１３に
それぞれ記憶される。
音韻が一致する音声素片のみを用いて、図１１のステッ
プＳ５１、Ｓ５２、Ｓ５３、Ｓ５４、Ｓ５５、Ｓ５６と
同様の代表音声素片初期化ステップＳ６２、音声合成ス
テップＳ６３、歪み評価ステップＳ６４、音素環境クラ
スタ生成ステップＳ６５、代表音声素片生成ステップＳ
６６、収束判定ステップＳ６７の処理を順次行い、全て
の初期音素環境クラスタについて同様の操作を繰り返す
ことにより、全ての代表音声素片およびそれに対応する
音素環境クラスタの生成を行う。こうして生成された代
表音声素片および音素環境クラスタは、図１０の代表音
声素片記憶部１２および音素環境クラスタ記憶部１３に
それぞれ記憶される。
【００８１】但し、各初期音素環境クラスタ当りの代表
音声素片数が１であれば、初期音素環境クラスタが代表
音声素片の音素環境クラスタとなるため、ステップＳ６
２、Ｓ６３、Ｓ６４、Ｓ６５、Ｓ６７の処理は不要とな
り、初期音素環境クラスタに対応する代表音声素片を代
表音声素片生成ステップＳ６６で求めればよい。この場
合には、初期音素環境クラスタを音素環境クラスタ記憶
部１３に記憶すればよい。
音声素片数が１であれば、初期音素環境クラスタが代表
音声素片の音素環境クラスタとなるため、ステップＳ６
２、Ｓ６３、Ｓ６４、Ｓ６５、Ｓ６７の処理は不要とな
り、初期音素環境クラスタに対応する代表音声素片を代
表音声素片生成ステップＳ６６で求めればよい。この場
合には、初期音素環境クラスタを音素環境クラスタ記憶
部１３に記憶すればよい。
【００８２】次に、図１３のフローチャートを参照して
代表音声素片生成部３１の第３の実施形態による処理手
順について説明する。まず、図１１のステップＳ５１、
Ｓ５２、Ｓ５３と同様の代表音声素片初期化ステップＳ
７１、音声合成ステップＳ７１、歪み評価ステップＳ７
３の処理を順次行って、合成音声素片Ｇikとトレーニン
グ音声素片Ｔi の間の歪みｅikを求める。
代表音声素片生成部３１の第３の実施形態による処理手
順について説明する。まず、図１１のステップＳ５１、
Ｓ５２、Ｓ５３と同様の代表音声素片初期化ステップＳ
７１、音声合成ステップＳ７１、歪み評価ステップＳ７
３の処理を順次行って、合成音声素片Ｇikとトレーニン
グ音声素片Ｔi の間の歪みｅikを求める。
【００８３】次に、トレーニング音声素片クラスタ生成
ステップＳ７４では、歪みｅikに基づいてトレーニング
音声素片Ｔi のクラスタＣ′k （ｋ＝１，２，３，…，
Ｎ）を生成する。このトレーニング音声素片クラスタ
Ｃ′k は、例えば次式で表されるクラスタリングの評価
関数ＥC4を最小化するクラスタを探索することによって
得られる。
ステップＳ７４では、歪みｅikに基づいてトレーニング
音声素片Ｔi のクラスタＣ′k （ｋ＝１，２，３，…，
Ｎ）を生成する。このトレーニング音声素片クラスタ
Ｃ′k は、例えば次式で表されるクラスタリングの評価
関数ＥC4を最小化するクラスタを探索することによって
得られる。
【００８４】
【数８】
【００８５】次に、図１１のステツプＳ５５、Ｓ５６と
同様の代表音声素片生成ステップＳ７５、収束判定ステ
ップＳ７６の処理を順次行って、代表音声素片およびそ
れに対応するトレーニング音声素片クラスタが生成され
る。
同様の代表音声素片生成ステップＳ７５、収束判定ステ
ップＳ７６の処理を順次行って、代表音声素片およびそ
れに対応するトレーニング音声素片クラスタが生成され
る。
【００８６】最後に、音素環境クラスタ生成ステップＳ
７７では、トレーニング音声素片クラスタＣ′k に属す
るトレーニング音声素片Ｔi に共通する音素環境を抽出
して音素環境クラスタＣk を生成する。但し、音素環境
クラスタＣk （ｋ＝１，２，３，…，Ｎ）は、式（７）
（８）の条件を満たすものとする。また、本実施形態の
音声合成方法に前の実施形態と同様にポストフィルタリ
ング処理を組み合わせることも可能である。
７７では、トレーニング音声素片クラスタＣ′k に属す
るトレーニング音声素片Ｔi に共通する音素環境を抽出
して音素環境クラスタＣk を生成する。但し、音素環境
クラスタＣk （ｋ＝１，２，３，…，Ｎ）は、式（７）
（８）の条件を満たすものとする。また、本実施形態の
音声合成方法に前の実施形態と同様にポストフィルタリ
ング処理を組み合わせることも可能である。
【００８７】
【発明の効果】以上説明したように、本発明の音声合成
方法によれば、入力音声素片に対してピッチおよび継続
時間長の少なくとも一方の変更を行って生成される合成
音声のレベルで自然音声に対する歪みを評価し、その歪
み評価結果に基づいて入力音声素片から選択した音声素
片を代表音声素片とするか、あるいは歪み評価結果に基
づいて代表音声素片を生成するため、音声合成装置の特
性をも考慮した代表音声素片の生成が可能であり、この
代表素片を接続して音声合成を行うことによって、自然
音声に近い高品質の合成音声を生成することができる。
方法によれば、入力音声素片に対してピッチおよび継続
時間長の少なくとも一方の変更を行って生成される合成
音声のレベルで自然音声に対する歪みを評価し、その歪
み評価結果に基づいて入力音声素片から選択した音声素
片を代表音声素片とするか、あるいは歪み評価結果に基
づいて代表音声素片を生成するため、音声合成装置の特
性をも考慮した代表音声素片の生成が可能であり、この
代表素片を接続して音声合成を行うことによって、自然
音声に近い高品質の合成音声を生成することができる。
【００８８】また、本発明ではさらに代表音声素片の接
続によって合成される音声に対してスペクトル整形を行
うと共に、合成音声素片に対しても同様のスペクトル整
形を行うことにより、スペクトル整形後の最終的な合成
音声信号のレベルで、自然音声に対する歪が小さくなる
ような代表音声素片を生成できるため、「めりはり」の
あるより明瞭な合成音声を生成することができる。
続によって合成される音声に対してスペクトル整形を行
うと共に、合成音声素片に対しても同様のスペクトル整
形を行うことにより、スペクトル整形後の最終的な合成
音声信号のレベルで、自然音声に対する歪が小さくなる
ような代表音声素片を生成できるため、「めりはり」の
あるより明瞭な合成音声を生成することができる。
【図１】本発明の一実施形態に係る音声合成装置のブロ
ック図
ック図
【図２】図１中の代表音声素片生成部での第１の実施形
態による処理手順を示すフローチャート
態による処理手順を示すフローチャート
【図３】図１の中の代表音声素片生成部での第２の実施
形態による処理手順を示すフローチャート
形態による処理手順を示すフローチャート
【図４】図１中の代表音声素片生成部での第３の実施形
態による処理手順を示すフローチャート
態による処理手順を示すフローチャート
【図５】本発明の他の実施形態に係る音声合成装置のブ
ロック図
ロック図
【図６】図５中の適応ポストフィルタの構成例を示すブ
ロック図
ロック図
【図７】図５中の代表音声素片生成部での第１の実施形
態による処理手順を示すフローチャート
態による処理手順を示すフローチャート
【図８】図５の中の代表音声素片生成部での第２の実施
形態による処理手順を示すフローチャート
形態による処理手順を示すフローチャート
【図９】図５中の代表音声素片生成部での第３の実施形
態による処理手順を示すフローチャート
態による処理手順を示すフローチャート
【図１０】本発明の別の実施形態に係る音声合成装置の
ブロック図
ブロック図
【図１１】図１０中の代表音声素片生成部での第１の実
施形態による処理手順を示すフローチャート
施形態による処理手順を示すフローチャート
【図１２】図１０の中の代表音声素片生成部での第２の
実施形態による処理手順を示すフローチャート
実施形態による処理手順を示すフローチャート
【図１３】図１０中の代表音声素片生成部での第３の実
施形態による処理手順を示すフローチャート
施形態による処理手順を示すフローチャート
１…合成単位学習系 ２…規則合成系 １１…代表音声素片生成部 １２…音素環境クラスタ記憶部 １３…代表音声素片記憶部 １４…素片選択部 １５…音声合成部 １６…適応ポストフィルタ ２１…ホルマント強調フィルタ ２２…ピッチ強調フィルタ １０１…トレーニング音声素片（第１の音声素片） １０２…トレーニング音声素片にラベル付けされた音素
環境 １０３…入力音声素片（第２の音声素片） １０４…代表音声素片 １０５…音素環境クラスタ １０６…音素環境クラスタ １０７…代表音声素片選択情報 １０８…代表音声素片 １１１…韻律情報 １１２…音韻記号列 １１３…合成音声信号 １１４…合成音声信号
環境 １０３…入力音声素片（第２の音声素片） １０４…代表音声素片 １０５…音素環境クラスタ １０６…音素環境クラスタ １０７…代表音声素片選択情報 １０８…代表音声素片 １１１…韻律情報 １１２…音韻記号列 １１３…合成音声信号 １１４…合成音声信号
Claims (9)
- 【請求項１】複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更する
ことにより複数の合成音声素片を生成し、 これらの合成音声素片と前記第１の音声素片との間の距
離尺度に基づいて前記第２の音声素片から複数の代表音
声素片を選択して記憶し、 これらの代表音声素片から所定の代表音声素片を選択し
て接続することによって音声を合成することを特徴とす
る音声合成方法。 - 【請求項２】音素環境がラベル付けされた複数の第１の
音声素片のピッチおよび継続時間長の少なくとも一方に
従って複数の第２の音声素片のピッチおよび継続時間長
の少なくとも一方を変更して複数の合成音声素片を生成
し、 これらの合成音声素片と前記第１の音声素片との間の距
離尺度に基づいて前記第２の音声素片から複数の代表音
声素片を選択して記憶し、 前記距離尺度に基づいて前記代表音声素片にそれぞれ対
応する複数の音素環境クラスタを生成し、 前記代表音声素片から入力音素の音素環境を含む音素環
境クラスタに対応する代表音声素片を選択して接続する
ことによって音声を合成することを特徴とする音声合成
方法。 - 【請求項３】音素環境がラベル付けされた複数の第１の
音声素片のピッチおよび継続時間長の少なくとも一方に
従って複数の第２の音声素片のピッチおよび継続時間長
の少なくとも一方を変更して複数の合成音声素片を生成
し、 これらの合成音声素片と前記第１の音声素片との間の距
離尺度に基づいて複数の音素環境クラスタを生成し、 前記距離尺度に基づいて前記第２の音声素片から各音素
環境クラスタにそれぞれ対応する複数の代表音声素片を
選択して記憶し、 これらの代表音声素片から所定の代表音声素片を選択し
て接続することによって音声を合成することを特徴とす
る音声合成方法。 - 【請求項４】音素環境がラベル付けされた複数の第１の
音声素片のピッチおよび継続時間長の少なくとも一方に
従って複数の第２の音声素片のピッチおよび継続時間長
の少なくとも一方を変更して複数の合成音声素片を生成
し、 これらの合成音声素片と前記第１の音声素片との間の距
離尺度に基づいて複数の音素環境クラスタを生成し、 前記距離尺度に基づいて前記第２の音声素片から各音素
環境クラスタにそれぞれ対応する複数の代表音声素片を
選択して記憶し、 これらの代表音声素片から入力音素の音素環境を含む音
素環境クラスタに対応する代表音声素片を選択して接続
することによって音声を合成することを特徴とする音声
合成方法。 - 【請求項５】複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って複数の第２の音声素片
のピッチおよび継続時間長の少なくとも一方を変更する
ことにより複数の合成音声素片を生成し、 これらの合成音声素片についてスペクトル整形を行い、 このスペクトル整形を行った後の各合成音声素片と前記
第１の音声素片との間の距離尺度に基づいて前記第２の
音声素片から複数の代表音声素片を選択して記憶し、 これらの代表音声素片から所定の代表音声素片を選択し
て接続することによって音声を合成し、 この合成した音声のスペクトル整形を行って最終的な合
成音声を生成することを特徴とする音声合成方法。 - 【請求項６】音素環境がラベル付けされた複数の第１の
音声素片のピッチおよび継続時間長の少なくとも一方に
従って複数の第２の音声素片のピッチおよび継続時間長
の少なくとも一方を変更して複数の合成音声素片を生成
し、 これらの合成音声素片についてスペクトル整形を行い、 このスペクトル整形を行った後の各合成音声素片と前記
第１の音声素片との間の距離尺度に基づいて前記第２の
音声素片から複数の代表音声素片を選択して記憶し、 前記距離尺度に基づいて前記代表音声素片にそれぞれ対
応する複数の音素環境クラスタを生成し、 前記代表音声素片から入力音素の音素環境を含む音素環
境クラスタに対応する代表音声素片を選択して接続する
ことによって音声を合成し、 この合成した音声のスペクトル整形を行って最終的な合
成音声を生成することを特徴とする音声合成方法。 - 【請求項７】音素環境がラベル付けされた複数の第１の
音声素片のピッチおよび継続時間長の少なくとも一方に
従って複数の第２の音声素片のピッチおよび継続時間長
の少なくとも一方を変更して複数の合成音声素片を生成
し、 これらの合成音声素片についてスペクトル整形を行い、 このスペクトル整形を行った後の各合成音声素片と前記
第１の音声素片との間の距離尺度に基づいて複数の音素
環境クラスタを生成し、 前記距離尺度に基づいて前記第２の音声素片から各音素
環境クラスタにそれぞれ対応する複数の代表音声素片を
選択して記憶し、 これらの代表音声素片から所定の代表音声素片を選択し
て接続することによって音声を合成し、 この合成した音声のスペクトル整形を行って最終的な合
成音声を生成することを特徴とする音声合成方法。 - 【請求項８】音素環境がラベル付けされた複数の第１の
音声素片のピッチおよび継続時間長の少なくとも一方に
従って複数の第２の音声素片のピッチおよび継続時間長
の少なくとも一方を変更して複数の合成音声素片を生成
し、 これらの合成音声素片についてスペクトル整形を行い、 このスペクトル整形を行った後の各合成音声素片と前記
第１の音声素片との間の距離尺度に基づいて複数の音素
環境クラスタを生成し、 前記距離尺度に基づいて前記第２の音声素片から各音素
環境クラスタにそれぞれ対応する複数の代表音声素片を
選択して記憶し、 これらの代表音声素片から入力音素の音素環境を含む音
素環境クラスタに対応する代表音声素片を選択して接続
することによって音声を合成し、 この合成した音声のスペクトル整形を行って最終的な合
成音声を生成することを特徴とする音声合成方法。 - 【請求項９】複数の第１の音声素片のピッチおよび継続
時間長の少なくとも一方に従って代表音声素片を用いて
複数の合成音声素片を生成し、 これらの合成音声素片と前記複数の第１の音声素片との
間で定義される歪みの評価関数に基づいて複数の前記代
表音声素片を求めて記憶し、 これらの代表音声素片から所定の代表音声素片を選択し
て接続することによって音声を合成することを特徴とす
る音声合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04669497A JP3281281B2 (ja) | 1996-03-12 | 1997-02-28 | 音声合成方法及び装置 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5471496 | 1996-03-12 | ||
| JP8-54714 | 1996-03-29 | ||
| JP7739396 | 1996-03-29 | ||
| JP8-77393 | 1996-03-29 | ||
| JP04669497A JP3281281B2 (ja) | 1996-03-12 | 1997-02-28 | 音声合成方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09319394A true JPH09319394A (ja) | 1997-12-12 |
| JP3281281B2 JP3281281B2 (ja) | 2002-05-13 |
Family
ID=27292700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04669497A Expired - Lifetime JP3281281B2 (ja) | 1996-03-12 | 1997-02-28 | 音声合成方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3281281B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002091475A (ja) * | 2000-09-18 | 2002-03-27 | Matsushita Electric Ind Co Ltd | 音声合成方法 |
| WO2004109659A1 (ja) * | 2003-06-05 | 2004-12-16 | Kabushiki Kaisha Kenwood | 音声合成装置、音声合成方法及びプログラム |
| JP2007148172A (ja) * | 2005-11-29 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 声質制御装置および方法およびプログラム記憶媒体 |
| US7546241B2 (en) | 2002-06-05 | 2009-06-09 | Canon Kabushiki Kaisha | Speech synthesis method and apparatus, and dictionary generation method and apparatus |
| JP2010008922A (ja) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | 音声処理装置、音声処理方法及びプログラム |
| US7668717B2 (en) | 2003-11-28 | 2010-02-23 | Kabushiki Kaisha Toshiba | Speech synthesis method, speech synthesis system, and speech synthesis program |
-
1997
- 1997-02-28 JP JP04669497A patent/JP3281281B2/ja not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002091475A (ja) * | 2000-09-18 | 2002-03-27 | Matsushita Electric Ind Co Ltd | 音声合成方法 |
| US7546241B2 (en) | 2002-06-05 | 2009-06-09 | Canon Kabushiki Kaisha | Speech synthesis method and apparatus, and dictionary generation method and apparatus |
| WO2004109659A1 (ja) * | 2003-06-05 | 2004-12-16 | Kabushiki Kaisha Kenwood | 音声合成装置、音声合成方法及びプログラム |
| US8214216B2 (en) | 2003-06-05 | 2012-07-03 | Kabushiki Kaisha Kenwood | Speech synthesis for synthesizing missing parts |
| US7668717B2 (en) | 2003-11-28 | 2010-02-23 | Kabushiki Kaisha Toshiba | Speech synthesis method, speech synthesis system, and speech synthesis program |
| US7856357B2 (en) | 2003-11-28 | 2010-12-21 | Kabushiki Kaisha Toshiba | Speech synthesis method, speech synthesis system, and speech synthesis program |
| JP2007148172A (ja) * | 2005-11-29 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 声質制御装置および方法およびプログラム記憶媒体 |
| JP2010008922A (ja) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | 音声処理装置、音声処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3281281B2 (ja) | 2002-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5740320A (en) | Text-to-speech synthesis by concatenation using or modifying clustered phoneme waveforms on basis of cluster parameter centroids | |
| JP3408477B2 (ja) | フィルタパラメータとソース領域において独立にクロスフェードを行う半音節結合型のフォルマントベースのスピーチシンセサイザ | |
| JP4328698B2 (ja) | 素片セット作成方法および装置 | |
| US7856357B2 (en) | Speech synthesis method, speech synthesis system, and speech synthesis program | |
| US7035791B2 (en) | Feature-domain concatenative speech synthesis | |
| US6760703B2 (en) | Speech synthesis method | |
| JP3667950B2 (ja) | ピッチパターン生成方法 | |
| JPH031200A (ja) | 規則型音声合成装置 | |
| CN101131818A (zh) | 语音合成装置与方法 | |
| JPH08110789A (ja) | 波形の連結及び部分的重複化による音声合成方法 | |
| JP4551803B2 (ja) | 音声合成装置及びそのプログラム | |
| JP3910628B2 (ja) | 音声合成装置、音声合成方法およびプログラム | |
| JP3281266B2 (ja) | 音声合成方法及び装置 | |
| JP4225128B2 (ja) | 規則音声合成装置及び規則音声合成方法 | |
| JP3281281B2 (ja) | 音声合成方法及び装置 | |
| JP2583074B2 (ja) | 音声合成方法 | |
| JP3727885B2 (ja) | 音声素片生成方法と装置及びプログラム、並びに音声合成方法と装置 | |
| JP3459600B2 (ja) | 音声合成装置のための音声データ量削減装置及び音声合成装置 | |
| JPH09179576A (ja) | 音声合成方法 | |
| JPH06318094A (ja) | 音声規則合成装置 | |
| JP3081300B2 (ja) | 残差駆動型音声合成装置 | |
| JPH10247097A (ja) | 自然発話音声波形信号接続型音声合成装置 | |
| JPH11249676A (ja) | 音声合成装置 | |
| JP5449022B2 (ja) | 音声素片データベース作成装置、代替音声モデル作成装置、音声素片データベース作成方法、代替音声モデル作成方法、プログラム | |
| Sassi et al. | A text-to-speech system for Arabic using neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090222 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100222 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100222 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |