JPH10143196A - 音声合成方法、その装置及びプログラム記録媒体 - Google Patents
音声合成方法、その装置及びプログラム記録媒体Info
- Publication number
- JPH10143196A JPH10143196A JP9239745A JP23974597A JPH10143196A JP H10143196 A JPH10143196 A JP H10143196A JP 9239745 A JP9239745 A JP 9239745A JP 23974597 A JP23974597 A JP 23974597A JP H10143196 A JPH10143196 A JP H10143196A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- vector
- fundamental frequency
- codebook
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 入力音声素片を、そのピッチと異なるピッチ
の良品質の合成音声を得る。 【解決手段】 音声素片と同一のピッチＦ0 レンジのデ
ータを学習データとしてスペクトル包絡の基準コードブ
ックＣＢM を作り、Ｆ0 より高いレンジの同一学習デー
タを、低いレンジの同一学習データを、これと音声素片
Ｆ0 レンジの学習データとの間で、線形伸縮マッチング
を行って、前記ＣＢM の各ベクトルコードごとにスペク
トル包絡をクラスタリングして、高レンジコードブック
ＣＢH 、低レンジコードブックＣＢL を作り、ＣＢM と
ＣＢH 及びＣＢL の各対応コードベクトルの差分ベクト
ルよりなるコードブックＣＢMH、ＣＢMLをそれぞれ作
り、入力音声素片のスペクトル包絡を前記ＣＢM でファ
ジーベクトル量子化しＳ４０２、量子化コードを合成ピ
ッチに応じてＣＢMH又はＣＢMLで復号し、復号差分ベク
トルを、合成音声とＣＢM の原音声とのピッチの差に応
じて伸縮させ、伸縮されたものに入力音声スペクトル包
絡を加算した後、逆ＦＦＴを行う。
の良品質の合成音声を得る。 【解決手段】 音声素片と同一のピッチＦ0 レンジのデ
ータを学習データとしてスペクトル包絡の基準コードブ
ックＣＢM を作り、Ｆ0 より高いレンジの同一学習デー
タを、低いレンジの同一学習データを、これと音声素片
Ｆ0 レンジの学習データとの間で、線形伸縮マッチング
を行って、前記ＣＢM の各ベクトルコードごとにスペク
トル包絡をクラスタリングして、高レンジコードブック
ＣＢH 、低レンジコードブックＣＢL を作り、ＣＢM と
ＣＢH 及びＣＢL の各対応コードベクトルの差分ベクト
ルよりなるコードブックＣＢMH、ＣＢMLをそれぞれ作
り、入力音声素片のスペクトル包絡を前記ＣＢM でファ
ジーベクトル量子化しＳ４０２、量子化コードを合成ピ
ッチに応じてＣＢMH又はＣＢMLで復号し、復号差分ベク
トルを、合成音声とＣＢM の原音声とのピッチの差に応
じて伸縮させ、伸縮されたものに入力音声スペクトル包
絡を加算した後、逆ＦＦＴを行う。
Description
【０００１】
【発明の属する技術分野】この発明は、音声素片を用い
たテキストから音声への変換技術において、生成する音
声の基本周波数パターンが、音声素片のパターンと大き
く異なる場合に生ずる、合成音声の品質劣化を防いだ
り、分析合成において原音声の基本周波数パターンと大
きく異なる合成音声を生成する場合に生じる合成音声の
品質劣化を防止することを目的とする音声合成方法に関
するものである。
たテキストから音声への変換技術において、生成する音
声の基本周波数パターンが、音声素片のパターンと大き
く異なる場合に生ずる、合成音声の品質劣化を防いだ
り、分析合成において原音声の基本周波数パターンと大
きく異なる合成音声を生成する場合に生じる合成音声の
品質劣化を防止することを目的とする音声合成方法に関
するものである。
【０００２】
【従来の技術】従来においては、例えばテキストから音
声への変換を行う場合、あらかじめ録音した音声素片か
ら基本周期ごとに１周期波形を切り出し、テキストの解
析結果から生成された基本周波数パターンに合わせて、
その波形を再配列するというものであった。これはＰＳ
ＯＬＡ法と呼ばれ、例えばM. Moulines 等“Pitch-sync
hronous waveform, processing techniques for text-t
o-speech synthesis using diphones" Speech Communic
ation, vol. 9, pp.453-467(1990-12)に示されている。
声への変換を行う場合、あらかじめ録音した音声素片か
ら基本周期ごとに１周期波形を切り出し、テキストの解
析結果から生成された基本周波数パターンに合わせて、
その波形を再配列するというものであった。これはＰＳ
ＯＬＡ法と呼ばれ、例えばM. Moulines 等“Pitch-sync
hronous waveform, processing techniques for text-t
o-speech synthesis using diphones" Speech Communic
ation, vol. 9, pp.453-467(1990-12)に示されている。
【０００３】また分析合成においては原音声を分析して
スペクトル特徴量を保持し、このスペクトル特徴量を用
いて原音声を合成するものであった。従来の技術では、
あらかじめ録音した音声素片の持つ基本周波数パターン
と、合成したい音声の基本周波数パターンとが大きく異
なっている場合、合成された音声の品質は著しく劣化す
る。これらについては例えば T.Hirokawa 等“Segment
Selection and Pitch Modification for High Quality
Speech Synthesis using Waveform Segments”ＩＣＳＬ
Ｐ９０ ３３７〜３４０頁、D. H. Klatt 等“Analysi
s, synthesis, and perception of voice quality vari
ations among female and male talkers ”J. Acoust.
Soc. Am. ８７（２），February 1990 ,８２０〜８５７
頁、に示されている。このため従来のＰＳＯＬＡ法では
テキストの解析結果から生成される基本周波数パターン
にそのまま合わせて波形配列をすると品質が著しく劣化
することがあるため、基本周波数パターンの変化が小さ
い、平坦なものとを用いることがあった。
スペクトル特徴量を保持し、このスペクトル特徴量を用
いて原音声を合成するものであった。従来の技術では、
あらかじめ録音した音声素片の持つ基本周波数パターン
と、合成したい音声の基本周波数パターンとが大きく異
なっている場合、合成された音声の品質は著しく劣化す
る。これらについては例えば T.Hirokawa 等“Segment
Selection and Pitch Modification for High Quality
Speech Synthesis using Waveform Segments”ＩＣＳＬ
Ｐ９０ ３３７〜３４０頁、D. H. Klatt 等“Analysi
s, synthesis, and perception of voice quality vari
ations among female and male talkers ”J. Acoust.
Soc. Am. ８７（２），February 1990 ,８２０〜８５７
頁、に示されている。このため従来のＰＳＯＬＡ法では
テキストの解析結果から生成される基本周波数パターン
にそのまま合わせて波形配列をすると品質が著しく劣化
することがあるため、基本周波数パターンの変化が小さ
い、平坦なものとを用いることがあった。
【０００４】音声素片の基本周波数を大きく変更したと
きに生じる合成音声の品質劣化の原因は、基本周波数と
スペクトルとが音響的にマッチしないためと考えられ
る。従って基本周波数と整合のとれたスペクトル構造を
もつ、数多くの音声素片を用意すれば、品質が良い合成
音声を得ることができる。しかし、全ての音声素片につ
いて、所望する基本周波数で発声させることは難しく、
たとえそれが可能であったとしても、記憶容量が膨大に
なり、実現性に乏しい。
きに生じる合成音声の品質劣化の原因は、基本周波数と
スペクトルとが音響的にマッチしないためと考えられ
る。従って基本周波数と整合のとれたスペクトル構造を
もつ、数多くの音声素片を用意すれば、品質が良い合成
音声を得ることができる。しかし、全ての音声素片につ
いて、所望する基本周波数で発声させることは難しく、
たとえそれが可能であったとしても、記憶容量が膨大に
なり、実現性に乏しい。
【０００５】このような点から、日本国の特開昭５７−
１７１３９８号公報（１９８２年１０月２１日公開）で
は各音韻ごとに基本周波数の異なる複数の音声に対する
スペクトル包絡パラメータ値を記憶しておき、最も近い
基本周波数のスペクトル包絡パラメータを用いる。これ
は、基本周波数の種類が少ないため、品質向上がわずか
であり、しかも記憶容量が著しく大となる欠点がある。
１７１３９８号公報（１９８２年１０月２１日公開）で
は各音韻ごとに基本周波数の異なる複数の音声に対する
スペクトル包絡パラメータ値を記憶しておき、最も近い
基本周波数のスペクトル包絡パラメータを用いる。これ
は、基本周波数の種類が少ないため、品質向上がわずか
であり、しかも記憶容量が著しく大となる欠点がある。
【０００６】また日本国の特開平７−１０４７９５号公
報（１９９５年４月２１日公開）では人間の声をモデル
化し、変換規則を作成し、基本周波数の変更に応じてス
ペクトルを変形している。この方法は、声のモデル化が
必ずしも正確には行われず、従って変換規則も人間の音
声に正しくマッチしたものとならず、品質のよいものは
期待できない。
報（１９９５年４月２１日公開）では人間の声をモデル
化し、変換規則を作成し、基本周波数の変更に応じてス
ペクトルを変形している。この方法は、声のモデル化が
必ずしも正確には行われず、従って変換規則も人間の音
声に正しくマッチしたものとならず、品質のよいものは
期待できない。
【０００７】更に日本音響学会平成８年３月の講演論文
集３３７〜３３８頁に基本周波数と、スペクトルを変更
して音声合成することが提案されている。この方法は基
本周波数Ｆ0 を高くすると、これに伴ってスペクトルの
間隔を広げるという大ざっぱな変更であって、品質の良
い合成音声は得られない。また分析合成においても、原
音声のピッチ周期と大きく異なるピッチ周期の合成音声
を生成する場合、合成音の品質が劣化する問題があっ
た。
集３３７〜３３８頁に基本周波数と、スペクトルを変更
して音声合成することが提案されている。この方法は基
本周波数Ｆ0 を高くすると、これに伴ってスペクトルの
間隔を広げるという大ざっぱな変更であって、品質の良
い合成音声は得られない。また分析合成においても、原
音声のピッチ周期と大きく異なるピッチ周期の合成音声
を生成する場合、合成音の品質が劣化する問題があっ
た。
【０００８】なお、この出願の優先権主張日１９９６年
９月１１日より後に本発明者により、この出願の発明の
一部又は全てを、下記学会及びその論文集で発表してい
る。 Ａ．Kimihiko Tanaka,and Masanobu Abe,"A New Fundam
ental Frecuency Mod-ification Algorithm With Trans
formation of Spectrum Envelope According to F0”,
1997 International Conference on Acoustics,Speech,
and Signal Processing(ICASSP 97)Vol.II,pp.951-954,
The Institute of Electronics Engineers(IEEE) Signa
l Processing Society,April 21-24,1997 Ｂ．田中 公人、阿部 匡伸「基本周波数に応じてスペ
クトル包絡を変形するテキスト音声合成システム」電子
情報通信学会技術研究報告（信学技報）Ｖｏｌ．９６
Ｎｏ．５６６ ２３〜３０頁，ＳＰ９６−１３０ １９
９７年３月７日（公表は６日）社団法人 電子情報通信
学会 Ｃ．田中 公人、阿部 匡伸「Ｆ０に応じてスペクトル
包絡を変形する音声合成方式」日本音響学会 平成９年
度春季研究発表会 講演論文集Ｉ ２１７〜２１８頁
１９９７年３月１７日，社団法人 日本音響学会 Ｄ．国内発表＋論文集 田中 公人、阿部 匡伸「基本周波数に応じてスペクト
ル包絡を変形する音声合成方式」日本音響学会 平成８
年度秋季研究発表会 講演論文集Ｉ ２１７〜２１８頁
１９９６年９月２５日，社団法人 日本音響学会
９月１１日より後に本発明者により、この出願の発明の
一部又は全てを、下記学会及びその論文集で発表してい
る。 Ａ．Kimihiko Tanaka,and Masanobu Abe,"A New Fundam
ental Frecuency Mod-ification Algorithm With Trans
formation of Spectrum Envelope According to F0”,
1997 International Conference on Acoustics,Speech,
and Signal Processing(ICASSP 97)Vol.II,pp.951-954,
The Institute of Electronics Engineers(IEEE) Signa
l Processing Society,April 21-24,1997 Ｂ．田中 公人、阿部 匡伸「基本周波数に応じてスペ
クトル包絡を変形するテキスト音声合成システム」電子
情報通信学会技術研究報告（信学技報）Ｖｏｌ．９６
Ｎｏ．５６６ ２３〜３０頁，ＳＰ９６−１３０ １９
９７年３月７日（公表は６日）社団法人 電子情報通信
学会 Ｃ．田中 公人、阿部 匡伸「Ｆ０に応じてスペクトル
包絡を変形する音声合成方式」日本音響学会 平成９年
度春季研究発表会 講演論文集Ｉ ２１７〜２１８頁
１９９７年３月１７日，社団法人 日本音響学会 Ｄ．国内発表＋論文集 田中 公人、阿部 匡伸「基本周波数に応じてスペクト
ル包絡を変形する音声合成方式」日本音響学会 平成８
年度秋季研究発表会 講演論文集Ｉ ２１７〜２１８頁
１９９６年９月２５日，社団法人 日本音響学会
【０００９】
【課題を解決するための手段】前期問題点を解決するた
めに、この発明は、入力音声、つまり音声素片又は原音
声の基本周波数に対する合成する音声の基本周波数の差
に応じて、自然音声のスペクトル包絡と基本周波数との
関係を利用してスペクトル包絡に変形処理を施す。
めに、この発明は、入力音声、つまり音声素片又は原音
声の基本周波数に対する合成する音声の基本周波数の差
に応じて、自然音声のスペクトル包絡と基本周波数との
関係を利用してスペクトル包絡に変形処理を施す。
【００１０】そのために、例えば数段階の基本周波数レ
ンジで同じテキストを発声させた学習用音声データか
ら、各基本周波数レンジごとにコードブックをあらかじ
め作成しておく。これらのコードブックは、各基本周波
数レンジ間で、コードベクトルが１対１に対応づけられ
ている。音声を合成するときには、入力音声から抽出し
たスペクトル包絡の音声特徴量を、その入力音声がもつ
基本周波数レンジのコードブック（基準コードブック）
を用いてベクトル量子化し、合成したい基本周波数レン
ジのマッピングコードブック上でデコードすることによ
り、スペクトル包絡の変形を行う。変形されたスペクト
ル包絡は、基本周波数とスペクトルが音響的にマッチし
ているので、これを用いることにより、高品質な音声の
合成が可能となる。
ンジで同じテキストを発声させた学習用音声データか
ら、各基本周波数レンジごとにコードブックをあらかじ
め作成しておく。これらのコードブックは、各基本周波
数レンジ間で、コードベクトルが１対１に対応づけられ
ている。音声を合成するときには、入力音声から抽出し
たスペクトル包絡の音声特徴量を、その入力音声がもつ
基本周波数レンジのコードブック（基準コードブック）
を用いてベクトル量子化し、合成したい基本周波数レン
ジのマッピングコードブック上でデコードすることによ
り、スペクトル包絡の変形を行う。変形されたスペクト
ル包絡は、基本周波数とスペクトルが音響的にマッチし
ているので、これを用いることにより、高品質な音声の
合成が可能となる。
【００１１】また前記基準コードブックと他の基本周波
数レンジのコードブックとの各対応コードベクトル間の
差分ベクトルを求めて差分ベクトルコードブックを用意
し、更に、基準コードブックと他の基本周波数レンジの
コードブックとの各対応クラスにそれぞれ属する要素ベ
クトルの基本周波数の平均値間の差を求めて差分周波数
コードブックを用意し、前記入力音声のスペクトル包絡
を基準コードブックでベクトル量子化し、その量子化コ
ードと対応する差分ベクトルを、前記差分ベクトルコー
ドブックから求め、また前記量子化コードと対応する差
分周波数を前記差分周波数コードブックから求め、この
差分周波数と、入力音声の基本周波数と、所望基本周波
数とからこれら両基本周波数の差に応じた伸縮率を求
め、その伸縮率に応じて前記差分ベクトルを伸縮させ、
その伸縮させた差分ベクトルを、入力音声のスペクトル
包絡に加算し、その加算したスペクトル包絡を時間領域
に変換して、スペクトル包絡が変形された音声素片が得
られる。この場合は、コードブックを作成した基本周波
数レンジと異なる任意の基本周波数にマッチしたスペク
トル包絡の変形が可能となる。
数レンジのコードブックとの各対応コードベクトル間の
差分ベクトルを求めて差分ベクトルコードブックを用意
し、更に、基準コードブックと他の基本周波数レンジの
コードブックとの各対応クラスにそれぞれ属する要素ベ
クトルの基本周波数の平均値間の差を求めて差分周波数
コードブックを用意し、前記入力音声のスペクトル包絡
を基準コードブックでベクトル量子化し、その量子化コ
ードと対応する差分ベクトルを、前記差分ベクトルコー
ドブックから求め、また前記量子化コードと対応する差
分周波数を前記差分周波数コードブックから求め、この
差分周波数と、入力音声の基本周波数と、所望基本周波
数とからこれら両基本周波数の差に応じた伸縮率を求
め、その伸縮率に応じて前記差分ベクトルを伸縮させ、
その伸縮させた差分ベクトルを、入力音声のスペクトル
包絡に加算し、その加算したスペクトル包絡を時間領域
に変換して、スペクトル包絡が変形された音声素片が得
られる。この場合は、コードブックを作成した基本周波
数レンジと異なる任意の基本周波数にマッチしたスペク
トル包絡の変形が可能となる。
【００１２】
【発明の実施の形態】図１にこの発明の基本手順を示
す。入力音声はステップＳ１でスペクトル特徴量が抽出
され、ステップＳ２で入力音声と合成音声との基本周波
数差に応じて、基本周波数とスペクトル包絡との関係を
用いて、入力音声のスペクトル包絡に変形処理を行い、
合成音声を得る。
す。入力音声はステップＳ１でスペクトル特徴量が抽出
され、ステップＳ２で入力音声と合成音声との基本周波
数差に応じて、基本周波数とスペクトル包絡との関係を
用いて、入力音声のスペクトル包絡に変形処理を行い、
合成音声を得る。
【００１３】以下、この発明をテキスト音声合成に適用
する場合の実施例を述べる。音声素片を用いたテキスト
音声合成システムでは、入力されたテキストを解析し
て、合成に用いる音声素片の系列と基本周波数パターン
が得られる。合成する音声の基本周波数パターンと音声
素片が本来持っている基本周波数パターンが大きく異な
る場合、この発明では、音声素片の基本周波数パターン
の、与えられた基本周波数パターンに対する変形量に応
じて、音声素片のスペクトル包絡を変形する。この変形
のためには音声素片、つまり入力音声波形のスペクトル
特徴量の抽出を行うが、これは図２に示すようにして行
う。なお、ここで用いる音声データには、すべて、音素
の境界および基本周期を表すピッチマークが付与されて
いるものとする。
する場合の実施例を述べる。音声素片を用いたテキスト
音声合成システムでは、入力されたテキストを解析し
て、合成に用いる音声素片の系列と基本周波数パターン
が得られる。合成する音声の基本周波数パターンと音声
素片が本来持っている基本周波数パターンが大きく異な
る場合、この発明では、音声素片の基本周波数パターン
の、与えられた基本周波数パターンに対する変形量に応
じて、音声素片のスペクトル包絡を変形する。この変形
のためには音声素片、つまり入力音声波形のスペクトル
特徴量の抽出を行うが、これは図２に示すようにして行
う。なお、ここで用いる音声データには、すべて、音素
の境界および基本周期を表すピッチマークが付与されて
いるものとする。
【００１４】この図２は、音声信号を効率よく表現する
ための、スペクトル包絡情報を表す音声特徴量を抽出す
る手順である。この手法は、対数スペクトルを基本周波
数の整数倍の近傍の最大値をサンプリングして余弦モデ
ルの最小二乗近似によりスペクトル包絡を推定する方法
（H.Matsumoto 等“A Minimum Distortion SpectralMap
ping Applied to Voice Quality Conversion ”ＩＣＳ
ＬＰ９０，５，９，pp. １６１〜１６４（１９９０））
を改良したものである。
ための、スペクトル包絡情報を表す音声特徴量を抽出す
る手順である。この手法は、対数スペクトルを基本周波
数の整数倍の近傍の最大値をサンプリングして余弦モデ
ルの最小二乗近似によりスペクトル包絡を推定する方法
（H.Matsumoto 等“A Minimum Distortion SpectralMap
ping Applied to Voice Quality Conversion ”ＩＣＳ
ＬＰ９０，５，９，pp. １６１〜１６４（１９９０））
を改良したものである。
【００１５】音声波形が入力されると、ステップＳ１０
１では、ピッチマークを中心に、基本周期の例えば５倍
の長さの窓関数をかけ、波形を切り出す。ステップＳ１
０２では、切り出した波形をＦＦＴ（高速フーリエ変
換）し、対数パワースペクトルを求める。ステップＳ１
０３では、ステップＳ１０２で求めた対数パワースペク
トルについて、基本周波数Ｆ0 の整数倍の近傍（ｎＦ0
−Ｆ0 ／２＜ｆn ＜ｎＦ0 ＋Ｆ0／２）における、対数
パワースペクトルの最大値をサンプリングする。ここ
で、ｎは整数を表す。つまり図３に示すように、周波数
Ｆ0 、２Ｆ0 、３Ｆ0 …をそれぞれ中心とする周波数Ｆ
0 の区間内における各対数パワースペクトルの最大値を
取り出す。また例えば３Ｆ0 を中心とする区間で取り出
された最大値の周波数ｆ3 が３Ｆ0 以下でその隣の４Ｆ
0 を中心とする区間で取り出された最大値の周波数ｆ4
が４Ｆ0 より高く、ｆ3 とｆ4 の差ΔＦ、つまり隣接サ
ンプリング間隔が1.5 Ｆ0 よりも大きい区間がある場
合、その区間ｆ3 〜ｆ4 における対数パワースペクトル
の極大値もサンプリングする。
１では、ピッチマークを中心に、基本周期の例えば５倍
の長さの窓関数をかけ、波形を切り出す。ステップＳ１
０２では、切り出した波形をＦＦＴ（高速フーリエ変
換）し、対数パワースペクトルを求める。ステップＳ１
０３では、ステップＳ１０２で求めた対数パワースペク
トルについて、基本周波数Ｆ0 の整数倍の近傍（ｎＦ0
−Ｆ0 ／２＜ｆn ＜ｎＦ0 ＋Ｆ0／２）における、対数
パワースペクトルの最大値をサンプリングする。ここ
で、ｎは整数を表す。つまり図３に示すように、周波数
Ｆ0 、２Ｆ0 、３Ｆ0 …をそれぞれ中心とする周波数Ｆ
0 の区間内における各対数パワースペクトルの最大値を
取り出す。また例えば３Ｆ0 を中心とする区間で取り出
された最大値の周波数ｆ3 が３Ｆ0 以下でその隣の４Ｆ
0 を中心とする区間で取り出された最大値の周波数ｆ4
が４Ｆ0 より高く、ｆ3 とｆ4 の差ΔＦ、つまり隣接サ
ンプリング間隔が1.5 Ｆ0 よりも大きい区間がある場
合、その区間ｆ3 〜ｆ4 における対数パワースペクトル
の極大値もサンプリングする。
【００１６】ステップＳ１０４では、ステップＳ１０３
で求めたサンプリング点を、直線で補間する。ステップ
Ｓ１０５では、ステップＳ１０４で求まった直線補間パ
ターンを、Ｆ 0 ／ｍ＜５０Ｈｚを満たす最大のＦ0 ／ｍ
間隔でサンプリングする。ここでｍは整数を表す。
で求めたサンプリング点を、直線で補間する。ステップ
Ｓ１０５では、ステップＳ１０４で求まった直線補間パ
ターンを、Ｆ 0 ／ｍ＜５０Ｈｚを満たす最大のＦ0 ／ｍ
間隔でサンプリングする。ここでｍは整数を表す。
【００１７】ステップＳ１０６では、ステップＳ１０５
でサンプリングしたサンプリング点を以下の式（１）で
示す余弦モデルで最小二乗近似する。 Y(λ) ＝ΣM i=1 Ａi cosiλ， （０≦λ≦π） （１） 上記式（１）から、音声特徴量（ケプストラム）Ａi が
求まる。この音声特徴量抽出法はパワースペクトルのピ
ークを忠実に表現している。この音声特徴量Ａ i の抽出
手法をＩＰＳＥ法と呼ぶ。
でサンプリングしたサンプリング点を以下の式（１）で
示す余弦モデルで最小二乗近似する。 Y(λ) ＝ΣM i=1 Ａi cosiλ， （０≦λ≦π） （１） 上記式（１）から、音声特徴量（ケプストラム）Ａi が
求まる。この音声特徴量抽出法はパワースペクトルのピ
ークを忠実に表現している。この音声特徴量Ａ i の抽出
手法をＩＰＳＥ法と呼ぶ。
【００１８】次にスペクトル包絡の変形に用いる基本周
波数レンジの違う、コードブックを作成するためのアル
ゴリズムを図５を参照して説明する。ここでは一例とし
て、基本周波数のレンジが、「高」、「中」、「低」の
３段階の場合を考える。入力として用いる音声データ
（学習音声データ）は、３段階の基本周波数レンジで、
一人の話者が同一のテキストをそれぞれ発声したものを
用いる。
波数レンジの違う、コードブックを作成するためのアル
ゴリズムを図５を参照して説明する。ここでは一例とし
て、基本周波数のレンジが、「高」、「中」、「低」の
３段階の場合を考える。入力として用いる音声データ
（学習音声データ）は、３段階の基本周波数レンジで、
一人の話者が同一のテキストをそれぞれ発声したものを
用いる。
【００１９】図５の中で、ステップＳ２０１、Ｓ２０
２、Ｓ２０３ではそれぞれ、基本周波数レンジ「高」、
「中」、「低」の各音声データから、図２に示したアル
ゴリズムにより、ピッチマークごとに音声特徴量、この
例ではＩＰＳＥケプストラムを抽出する。ステップＳ２
０４，Ｓ２０５，Ｓ２０６ではそれぞれステップＳ２０
１，Ｓ２０２，Ｓ２０３で抽出したＩＰＳＥケプストラ
ムを、聴覚特性を向上させるため周波数尺度をメル尺度
に変化してメルＩＰＳＥケプストラムとする。メル尺度
については例えば“Computation of Spectra with Uneq
ual Resolution Using theFast Fouris Transform”Pro
ceeding of The IEEE February １９７１, ２９９〜３
０１頁に示されている。
２、Ｓ２０３ではそれぞれ、基本周波数レンジ「高」、
「中」、「低」の各音声データから、図２に示したアル
ゴリズムにより、ピッチマークごとに音声特徴量、この
例ではＩＰＳＥケプストラムを抽出する。ステップＳ２
０４，Ｓ２０５，Ｓ２０６ではそれぞれステップＳ２０
１，Ｓ２０２，Ｓ２０３で抽出したＩＰＳＥケプストラ
ムを、聴覚特性を向上させるため周波数尺度をメル尺度
に変化してメルＩＰＳＥケプストラムとする。メル尺度
については例えば“Computation of Spectra with Uneq
ual Resolution Using theFast Fouris Transform”Pro
ceeding of The IEEE February １９７１, ２９９〜３
０１頁に示されている。
【００２０】ステップＳ２０７では、図４に示すよう
に、同一テキストについて、基本周波数レンジ「高」の
音声データ中のピッチマーク列と、基本周波数レンジ
「中」の音声データのピッチマーク列との間で、各有声
音素ごとに線形伸縮マッチングを行い、両音声データの
ピッチマーク間の対応関係を求める。つまり、有声音素
Ａの基本周波数レンジ「高」の音声データ中のピッチマ
ーク列がＨ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５であり、基本周
波数レンジ「中」の音声データ中のピッチマーク列がＭ
１、Ｍ２、Ｍ３、Ｍ４であった場合、Ｈ１はＭ１と、Ｈ
２はＭ２と、Ｈ３及びＨ４はＭ３と、Ｈ５はＭ４とそれ
ぞれ対応付け、このようにして、基本周波数レンジ
「高」と基本周波数レンジ「中」の対応音素区間内にお
ける各ピッチマークを、時間軸を線形伸縮してその区間
内における位置が近いものを互いに対応付ける。ステッ
プＳ２０８においても同様に、基本周波数レンジ「低」
の音声データと、基本周波数レンジ「中」の音声データ
の間で、ピッチマーク間の対応関係を求める。
に、同一テキストについて、基本周波数レンジ「高」の
音声データ中のピッチマーク列と、基本周波数レンジ
「中」の音声データのピッチマーク列との間で、各有声
音素ごとに線形伸縮マッチングを行い、両音声データの
ピッチマーク間の対応関係を求める。つまり、有声音素
Ａの基本周波数レンジ「高」の音声データ中のピッチマ
ーク列がＨ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５であり、基本周
波数レンジ「中」の音声データ中のピッチマーク列がＭ
１、Ｍ２、Ｍ３、Ｍ４であった場合、Ｈ１はＭ１と、Ｈ
２はＭ２と、Ｈ３及びＨ４はＭ３と、Ｈ５はＭ４とそれ
ぞれ対応付け、このようにして、基本周波数レンジ
「高」と基本周波数レンジ「中」の対応音素区間内にお
ける各ピッチマークを、時間軸を線形伸縮してその区間
内における位置が近いものを互いに対応付ける。ステッ
プＳ２０８においても同様に、基本周波数レンジ「低」
の音声データと、基本周波数レンジ「中」の音声データ
の間で、ピッチマーク間の対応関係を求める。
【００２１】ステップＳ２０９では、基本周波数レンジ
「中」の音声データからピッチマークごとに抽出した音
声特徴量（メルＩＰＳＥケプストラム）をＬＢＧアルゴ
リズムによりクラスタリングし、基本周波数レンジ
「中」のコードブックＣＢM を作る。なお、ＬＢＧアル
ゴリズムの詳細は、例えば、Linde らの、"An Algorith
mfor Vector Quantization Design,"（ＩＥＥＥ ＣＯ
Ｍ−２８（１９８０−０１）８４〜９５頁）に記載され
ている。
「中」の音声データからピッチマークごとに抽出した音
声特徴量（メルＩＰＳＥケプストラム）をＬＢＧアルゴ
リズムによりクラスタリングし、基本周波数レンジ
「中」のコードブックＣＢM を作る。なお、ＬＢＧアル
ゴリズムの詳細は、例えば、Linde らの、"An Algorith
mfor Vector Quantization Design,"（ＩＥＥＥ ＣＯ
Ｍ−２８（１９８０−０１）８４〜９５頁）に記載され
ている。
【００２２】ステップＳ２１０では、ステップＳ２０９
で作った基本周波数レンジ「中」のコードブックを用い
て、基本周波数レンジ「中」のメルＩＰＳＥケプストラ
ムをベクトル量子化する。つまり基本周波数レンジ
「中」のメルＩＰＳＥケプストラムが属するクラスタを
求める。ステップＳ２１１では、ステップＳ２０７で求
めた基本周波数レンジ「高」の音声データと基本周波数
レンジ「中」の音声データのピッチマーク間の対応付け
の結果を利用して、ステップＳ２０９で作成したコード
ブックのコードベクトルごとに、これと対応する基本周
波数レンジ「高」の音声データから抽出した各音声特徴
量（メルＩＰＳＥケプストラム）をそのコードベクトル
のクラスに所属させる。つまり、例えば有声音素Ａのピ
ッチマークＨ１（図４）における特徴量（メルＩＰＳＥ
ケプストラム）は、ピッチマークＭ１における特徴量
（メルＩＰＳＥケプストラム）が量子化されたコードベ
クトル番号のクラスに所属させ、Ｈ２における特徴量は
Ｍ２における特徴量の量子化コードベクトル番号のクラ
スに所属させ、Ｈ３、Ｈ４における各特徴量はＭ３にお
ける特徴量の量子化コードベクトル番号のクラスにそれ
ぞれ所属させ、Ｈ５における特徴量はＭ４における特徴
量の量子化コードベクトル番号のクラスとし、以下同様
に基本周波数レンジ「高」の各特徴量（メルＩＰＳＥケ
プストラム）を、基本周波数レンジ「中」の対応特徴量
（メルＩＰＳＥケプストラム）の量子化コードベクトル
番号にクラス分けする。基本周波数レンジ「高」の音声
データの特徴量（メルＩＰＳＥケプストラム）に対する
クラスタリングが行われる。
で作った基本周波数レンジ「中」のコードブックを用い
て、基本周波数レンジ「中」のメルＩＰＳＥケプストラ
ムをベクトル量子化する。つまり基本周波数レンジ
「中」のメルＩＰＳＥケプストラムが属するクラスタを
求める。ステップＳ２１１では、ステップＳ２０７で求
めた基本周波数レンジ「高」の音声データと基本周波数
レンジ「中」の音声データのピッチマーク間の対応付け
の結果を利用して、ステップＳ２０９で作成したコード
ブックのコードベクトルごとに、これと対応する基本周
波数レンジ「高」の音声データから抽出した各音声特徴
量（メルＩＰＳＥケプストラム）をそのコードベクトル
のクラスに所属させる。つまり、例えば有声音素Ａのピ
ッチマークＨ１（図４）における特徴量（メルＩＰＳＥ
ケプストラム）は、ピッチマークＭ１における特徴量
（メルＩＰＳＥケプストラム）が量子化されたコードベ
クトル番号のクラスに所属させ、Ｈ２における特徴量は
Ｍ２における特徴量の量子化コードベクトル番号のクラ
スに所属させ、Ｈ３、Ｈ４における各特徴量はＭ３にお
ける特徴量の量子化コードベクトル番号のクラスにそれ
ぞれ所属させ、Ｈ５における特徴量はＭ４における特徴
量の量子化コードベクトル番号のクラスとし、以下同様
に基本周波数レンジ「高」の各特徴量（メルＩＰＳＥケ
プストラム）を、基本周波数レンジ「中」の対応特徴量
（メルＩＰＳＥケプストラム）の量子化コードベクトル
番号にクラス分けする。基本周波数レンジ「高」の音声
データの特徴量（メルＩＰＳＥケプストラム）に対する
クラスタリングが行われる。
【００２３】ステップＳ２１２ではこのクラスタリング
された基本周波数レンジ「高」のメルＩＰＳＥケプスト
ラムを、その各クラスごとにこれに属した特徴量の重心
ベクトル（平均）を求め、これを基本周波数レンジ
「高」のコードベクトルとして、コードブックＣＢH を
得る。このようにして１周期波形ごとに時間的対応をと
り、基本周波数レンジ「中」のコードブック（基準コー
ドブック）ＣＢM におけるクラスタリングの結果を参照
しながら基本周波数レンジ「高」の音声データに対する
スペクトルパラメータの写像先であるマッピングコード
ブックが作成される。ステップＳ２１３でもステップＳ
２１１と同様な手法を用いて、基本周波数レンジ「低」
の音声データの特徴量（メルＩＰＳＥケプストラム）を
クラスタリングし、ステップＳ２１４でその各クラスの
特徴量の重心ベクトルを求めて基本周波数レンジ「低」
のコードブックＣＢL を作成する。
された基本周波数レンジ「高」のメルＩＰＳＥケプスト
ラムを、その各クラスごとにこれに属した特徴量の重心
ベクトル（平均）を求め、これを基本周波数レンジ
「高」のコードベクトルとして、コードブックＣＢH を
得る。このようにして１周期波形ごとに時間的対応をと
り、基本周波数レンジ「中」のコードブック（基準コー
ドブック）ＣＢM におけるクラスタリングの結果を参照
しながら基本周波数レンジ「高」の音声データに対する
スペクトルパラメータの写像先であるマッピングコード
ブックが作成される。ステップＳ２１３でもステップＳ
２１１と同様な手法を用いて、基本周波数レンジ「低」
の音声データの特徴量（メルＩＰＳＥケプストラム）を
クラスタリングし、ステップＳ２１４でその各クラスの
特徴量の重心ベクトルを求めて基本周波数レンジ「低」
のコードブックＣＢL を作成する。
【００２４】以上により、基本周波数レンジ「低」、
「中」、「高」の３つについて、それぞれ同一コード番
号のコードベクトル間で、１対１の対応付けが行われ
た、３つのコードブックＣＢL ，ＣＢM ，ＣＢH が作成
された。次にステップＳ２１５では基本周波数レンジ
「高」のコードブックＣＢH と基本周波数レンジ「中」
のコードブックＣＢM の間での、対応する各コードベク
トルの差分を求め、差分ベクトルコードブックＣＢMHを
作る。同様にステップＳ２１６では基本周波数レンジ
「低」のコードブックＣＢL と基本周波数レンジ「中」
のコードブックＣＢM の間の対応する各コードベクトル
の差分を求め、差分ベクトルコードブックＣＢMLを作
る。
「中」、「高」の３つについて、それぞれ同一コード番
号のコードベクトル間で、１対１の対応付けが行われ
た、３つのコードブックＣＢL ，ＣＢM ，ＣＢH が作成
された。次にステップＳ２１５では基本周波数レンジ
「高」のコードブックＣＢH と基本周波数レンジ「中」
のコードブックＣＢM の間での、対応する各コードベク
トルの差分を求め、差分ベクトルコードブックＣＢMHを
作る。同様にステップＳ２１６では基本周波数レンジ
「低」のコードブックＣＢL と基本周波数レンジ「中」
のコードブックＣＢM の間の対応する各コードベクトル
の差分を求め、差分ベクトルコードブックＣＢMLを作
る。
【００２５】この実施例では更に、ステップＳ２１７，
Ｓ２１８，Ｓ２１９では、各コードブックＣＢH ，ＣＢ
M ，ＣＢL の各クラスに属する要素ベクトルに付属する
基本周波数の平均値ＦH ，ＦM ，ＦL をそれぞれ求め
る。ステップＳ２２０ではコードブックＣＢH とＣＢM
との間で対応するコードベクトル間の周波数平均値ＦH
とＦM との差分ΔＦHMを求めて、平均周波数差分コード
ブックＣＢFMH を作る。同様にステップＳ２２１ではコ
ードブックＣＢM とＣＢL との間で対応するコードベク
トル間の周波数平均値ＦM とＦL との差分ΔＦLMを求め
て平均周波数差分コードブックＣＢFML を作る。
Ｓ２１８，Ｓ２１９では、各コードブックＣＢH ，ＣＢ
M ，ＣＢL の各クラスに属する要素ベクトルに付属する
基本周波数の平均値ＦH ，ＦM ，ＦL をそれぞれ求め
る。ステップＳ２２０ではコードブックＣＢH とＣＢM
との間で対応するコードベクトル間の周波数平均値ＦH
とＦM との差分ΔＦHMを求めて、平均周波数差分コード
ブックＣＢFMH を作る。同様にステップＳ２２１ではコ
ードブックＣＢM とＣＢL との間で対応するコードベク
トル間の周波数平均値ＦM とＦL との差分ΔＦLMを求め
て平均周波数差分コードブックＣＢFML を作る。
【００２６】この実施例では基本周波数レンジ「中」の
コードブックＣＢM と、二つの差分ベクトルコードブッ
クＣＢMH，ＣＢMLと、二つの平均周波数差分コードブッ
クＣＢFMH ，ＣＢFML との５つが用意される。次に、図
５に示した手法により作成した５つのマッピングコード
ブックを用いて、基本周波数に応じてスペクトル包絡変
形を行う音声合成方法の処理手順を図６を参照して説明
する。このアルゴリズムの入力は、テキスト音声合成部
において選択された音声素片波形と、合成したい音声の
基本周波数Ｆ0tと、前記選択された音声素片波形の基本
周波数Ｆ0uとである。出力は合成音声である。以下、そ
れぞれの処理について詳細に述べる。
コードブックＣＢM と、二つの差分ベクトルコードブッ
クＣＢMH，ＣＢMLと、二つの平均周波数差分コードブッ
クＣＢFMH ，ＣＢFML との５つが用意される。次に、図
５に示した手法により作成した５つのマッピングコード
ブックを用いて、基本周波数に応じてスペクトル包絡変
形を行う音声合成方法の処理手順を図６を参照して説明
する。このアルゴリズムの入力は、テキスト音声合成部
において選択された音声素片波形と、合成したい音声の
基本周波数Ｆ0tと、前記選択された音声素片波形の基本
周波数Ｆ0uとである。出力は合成音声である。以下、そ
れぞれの処理について詳細に述べる。
【００２７】ステップＳ４０１では、入力された音声素
片から、図２中のステップＳ２０１〜Ｓ２０３で説明し
たアルゴリズムと同様の手法により音声特徴量、この例
ではＩＰＳＥケプストラムを抽出する。更にステップＳ
４０２ではその抽出したＩＰＳＥケプストラムの周波数
尺度をメル尺度に変換したメルＩＰＳＥケプストラムと
する。
片から、図２中のステップＳ２０１〜Ｓ２０３で説明し
たアルゴリズムと同様の手法により音声特徴量、この例
ではＩＰＳＥケプストラムを抽出する。更にステップＳ
４０２ではその抽出したＩＰＳＥケプストラムの周波数
尺度をメル尺度に変換したメルＩＰＳＥケプストラムと
する。
【００２８】ステップＳ４０３では、図５に示したアル
ゴリズムにより作成した、基本周波数レンジ「中」のコ
ードブックＣＢM を用いて、ステップＳ４０２で抽出し
た音声特徴量をファジーベクトル量子化して式（２）で
示すようなｋ−近傍ファジー級関数μk を求める。 μk ＝（１／（Σ（ｄk ／ｄj ）1/(f-1) （２） ｄj は入力ベクトルとコードベクトルとの距離、ｆはフ
ァジネスを表わし、Σはｊ＝１からｊ＝ｋである。ファ
ジーベクトル量子化の詳細については、例えば、中村、
鹿野の“ファジーベクトル量子化を用いたスペクトログ
ラムの正規化”（音響学会誌４５巻２号（１９８９））
又は（Ａ．Ho-Ping Tseng,Michael J.Sabin and Edward
A Lee,"Fuzzy Vector Quantazation Applied to Hidde
n MarkovModeling",Proceedings of IEEE Internationa
l Conference on Acoustics,Speech,and Signal Proces
sing (ICASSP) Vol.2,pp.641-644,April 1987. ）に記
載されている。
ゴリズムにより作成した、基本周波数レンジ「中」のコ
ードブックＣＢM を用いて、ステップＳ４０２で抽出し
た音声特徴量をファジーベクトル量子化して式（２）で
示すようなｋ−近傍ファジー級関数μk を求める。 μk ＝（１／（Σ（ｄk ／ｄj ）1/(f-1) （２） ｄj は入力ベクトルとコードベクトルとの距離、ｆはフ
ァジネスを表わし、Σはｊ＝１からｊ＝ｋである。ファ
ジーベクトル量子化の詳細については、例えば、中村、
鹿野の“ファジーベクトル量子化を用いたスペクトログ
ラムの正規化”（音響学会誌４５巻２号（１９８９））
又は（Ａ．Ho-Ping Tseng,Michael J.Sabin and Edward
A Lee,"Fuzzy Vector Quantazation Applied to Hidde
n MarkovModeling",Proceedings of IEEE Internationa
l Conference on Acoustics,Speech,and Signal Proces
sing (ICASSP) Vol.2,pp.641-644,April 1987. ）に記
載されている。
【００２９】ステップＳ４０４では式（３）で示すよう
に、差分ベクトルコードブックＣＢ HM又はＣＢHLを用い
ｋ−近傍における差分ベクトルＶi に対して、ファジー
級関数μk による重みづけ合成を行い、入力ベクトルに
対する差分ベクトルＶを求める。 Ｖ＝Σμj Ｖj ／Σμj （３） Σはｊ＝１からｋまで 合成したい音声の基本周波数Ｆ0tが、入力音声素片のＦ
0uより高い場合はコードブックＣＢHMを用い、低い場合
はコードブックＣＢMLを用いる。このような差分ベクト
ルＶを求める手法はいわゆる移動ベクトル場平滑化法に
よる手法と同一であり、この手法は例えば橋本、樋口の
“話者選択と移動ベクトル場平滑化を用いた声質変換の
ためのスペクトル写像”日本電子情報通信学会、信学技
報ＳＰ９５−１（１９９５−０５１）（この英文はＣ．
Makoto Hasimoto and Norio Higuchi,"Spectral Mappin
g for Voice Conversion Using Speaker Selection and
Vector Field Smoothing ",Proceedings of 4th Europ
ean Conference on Speech Communication and Technon
ogy(EUROSPEECH)Vol.1,pp.431-434,Sept.95.移動ベクト
ル場平滑化法に関する英文論文）に記載されている。
に、差分ベクトルコードブックＣＢ HM又はＣＢHLを用い
ｋ−近傍における差分ベクトルＶi に対して、ファジー
級関数μk による重みづけ合成を行い、入力ベクトルに
対する差分ベクトルＶを求める。 Ｖ＝Σμj Ｖj ／Σμj （３） Σはｊ＝１からｋまで 合成したい音声の基本周波数Ｆ0tが、入力音声素片のＦ
0uより高い場合はコードブックＣＢHMを用い、低い場合
はコードブックＣＢMLを用いる。このような差分ベクト
ルＶを求める手法はいわゆる移動ベクトル場平滑化法に
よる手法と同一であり、この手法は例えば橋本、樋口の
“話者選択と移動ベクトル場平滑化を用いた声質変換の
ためのスペクトル写像”日本電子情報通信学会、信学技
報ＳＰ９５−１（１９９５−０５１）（この英文はＣ．
Makoto Hasimoto and Norio Higuchi,"Spectral Mappin
g for Voice Conversion Using Speaker Selection and
Vector Field Smoothing ",Proceedings of 4th Europ
ean Conference on Speech Communication and Technon
ogy(EUROSPEECH)Vol.1,pp.431-434,Sept.95.移動ベクト
ル場平滑化法に関する英文論文）に記載されている。
【００３０】ステップＳ４０５は、合成したい音声の基
本周波数Ｆ0tと、入力音声素片の基本周波数Ｆ0uと、図
５で求めた平均周波数差分コードブックＣＢFMH 又はＣ
ＢFM L とを用いて式（４）により差分ベクトルＶに対す
る伸縮率ｒを求める。 ｒ＝（Ｆ0t−Ｆ0u）／ΔＦ （４） ΔＦ＝Σμj ΔＦj ／Σμj （５） Σはｊ＝１からｋまで、ΔＦj はコードブックＣＢFMH
又はＣＢFML のコード平均基本周波数の差分である。
本周波数Ｆ0tと、入力音声素片の基本周波数Ｆ0uと、図
５で求めた平均周波数差分コードブックＣＢFMH 又はＣ
ＢFM L とを用いて式（４）により差分ベクトルＶに対す
る伸縮率ｒを求める。 ｒ＝（Ｆ0t−Ｆ0u）／ΔＦ （４） ΔＦ＝Σμj ΔＦj ／Σμj （５） Σはｊ＝１からｋまで、ΔＦj はコードブックＣＢFMH
又はＣＢFML のコード平均基本周波数の差分である。
【００３１】ステップＳ４０６ではステップＳ４０５で
求めた差分ベクトルＶを、ステップＳ４０６で求めた伸
縮率ｒに従って線形伸縮する。ステップＳ４０７ではス
テップＳ４０６で線形伸縮された差分ベクトルをステッ
プＳ４０２で求めたメルＩＰＳＥケプストラム（入力ベ
クトル）に加算して、合成したい音声の基本周波数Ｆ0t
に応じて変形されたメルＩＰＳＥケプストラムが求ま
る。
求めた差分ベクトルＶを、ステップＳ４０６で求めた伸
縮率ｒに従って線形伸縮する。ステップＳ４０７ではス
テップＳ４０６で線形伸縮された差分ベクトルをステッ
プＳ４０２で求めたメルＩＰＳＥケプストラム（入力ベ
クトル）に加算して、合成したい音声の基本周波数Ｆ0t
に応じて変形されたメルＩＰＳＥケプストラムが求ま
る。
【００３２】ステップＳ４０８ではこの変形されたＩＰ
ＳＥケプストラムを、Oppenheim の漸化式により、メル
尺度から線形尺度に周波数尺度を変換する。ステップＳ
４０９ではその線形尺度とされたＩＰＳＥケプストラム
を逆高速フーリエ変換し（零位相）、Ｆ0tに応じてスペ
クトル包絡が変形された音声波形を得る。
ＳＥケプストラムを、Oppenheim の漸化式により、メル
尺度から線形尺度に周波数尺度を変換する。ステップＳ
４０９ではその線形尺度とされたＩＰＳＥケプストラム
を逆高速フーリエ変換し（零位相）、Ｆ0tに応じてスペ
クトル包絡が変形された音声波形を得る。
【００３３】ステップＳ４１０ではステップＳ４０９で
求めた音声波形を低域通過フィルタにかけ、低域成分の
みの波形を求める。ステップＳ４１１ではステップＳ４
０９で求めた音声波形から、高域通過フィルタにより高
域成分のみを取り出す。この高域通過フィルタの遮断周
波数と、ステップＳ４１０で用いる低域通過フィルタの
遮断周波数とを等しくする。
求めた音声波形を低域通過フィルタにかけ、低域成分の
みの波形を求める。ステップＳ４１１ではステップＳ４
０９で求めた音声波形から、高域通過フィルタにより高
域成分のみを取り出す。この高域通過フィルタの遮断周
波数と、ステップＳ４１０で用いる低域通過フィルタの
遮断周波数とを等しくする。
【００３４】ステップＳ４１２では入力音声素片から、
ピッチマーク位置を中心に、基本周期の２倍の長さのハ
ミング窓をかけて、波形を切り出す。ステップＳ４１３
ではステップＳ４１２で切り出した入力波形をステップ
Ｓ４１１で用いたものと同じ高域通過フィルタに通して
高域成分を取り出す。ステップＳ４１４ではステップＳ
４１３で求めた入力波形の高域成分のレベルを、ステッ
プＳ４１１で求めた、スペクトル包絡が変形された音声
波形の高域成分と同一レベルになるようにレベル調整す
る。
ピッチマーク位置を中心に、基本周期の２倍の長さのハ
ミング窓をかけて、波形を切り出す。ステップＳ４１３
ではステップＳ４１２で切り出した入力波形をステップ
Ｓ４１１で用いたものと同じ高域通過フィルタに通して
高域成分を取り出す。ステップＳ４１４ではステップＳ
４１３で求めた入力波形の高域成分のレベルを、ステッ
プＳ４１１で求めた、スペクトル包絡が変形された音声
波形の高域成分と同一レベルになるようにレベル調整す
る。
【００３５】ステップＳ４１５ではステップＳ４１４で
レベル調整された高域成分と、ステップＳ４１０で取出
された低域成分とが足し合わされる。ステップＳ４１６
ではステップＳ４１５で求めた波形を、所望の基本周波
数Ｆ 0tに合わせて配列して合成音声を得る。以上におけ
るスペクトル包絡の変形処理を概念的に示すと図７に示
すようになる。入力ベクトル（ステップＳ４０２で得た
メルＩＰＳＥケプストラム）をコードブックＣＢM でフ
ァジーベクトル量子化されたベクトル１１に対し、ｋ個
のその近傍コードベクトル１２が決まり、これとコード
ブックＣＢH の対応コードベクトルとの差分ベクトルＶ
i がコードブックＣＢMHにより求まり、更に式（３）に
より、ファジーベクトル量子化されたベクトル１１に対
する差分ベクトルＶが求まり、このＶを、式（４）にも
とづく伸縮率ｒで線形伸縮され、この伸縮されたベクト
ル１３に、入力ベクトルを加算して目的とする変形され
たベクトル（メルＩＰＳＥケプストラム）１４が得られ
る。差分ベクトルコードブックＣＢMH，ＣＢMLを用いる
ことなく、コードブックＣＢH ，ＣＢL を用いることも
できる。その場合の実施例を図８に図６と同一処理に同
一ステップ番号を付けて示す。
レベル調整された高域成分と、ステップＳ４１０で取出
された低域成分とが足し合わされる。ステップＳ４１６
ではステップＳ４１５で求めた波形を、所望の基本周波
数Ｆ 0tに合わせて配列して合成音声を得る。以上におけ
るスペクトル包絡の変形処理を概念的に示すと図７に示
すようになる。入力ベクトル（ステップＳ４０２で得た
メルＩＰＳＥケプストラム）をコードブックＣＢM でフ
ァジーベクトル量子化されたベクトル１１に対し、ｋ個
のその近傍コードベクトル１２が決まり、これとコード
ブックＣＢH の対応コードベクトルとの差分ベクトルＶ
i がコードブックＣＢMHにより求まり、更に式（３）に
より、ファジーベクトル量子化されたベクトル１１に対
する差分ベクトルＶが求まり、このＶを、式（４）にも
とづく伸縮率ｒで線形伸縮され、この伸縮されたベクト
ル１３に、入力ベクトルを加算して目的とする変形され
たベクトル（メルＩＰＳＥケプストラム）１４が得られ
る。差分ベクトルコードブックＣＢMH，ＣＢMLを用いる
ことなく、コードブックＣＢH ，ＣＢL を用いることも
できる。その場合の実施例を図８に図６と同一処理に同
一ステップ番号を付けて示す。
【００３６】この場合は処理を簡略化するためメル尺度
変換をしていないがメル尺度変換を行ってもよい。ステ
ップＳ８０１では、基本周波数レンジ「高」、「低」の
中から、合成したい音声の基本周波数と最も近いものの
コードブックを選ぶ。ステップＳ８０２では、ステップ
Ｓ８０１で選択された基本周波数レンジ、例えば「高」
のコードブックＣＢH を用いて、ステップＳ４０３でフ
ァジーベクトル量子化した音声特徴量をデコードする。
変換をしていないがメル尺度変換を行ってもよい。ステ
ップＳ８０１では、基本周波数レンジ「高」、「低」の
中から、合成したい音声の基本周波数と最も近いものの
コードブックを選ぶ。ステップＳ８０２では、ステップ
Ｓ８０１で選択された基本周波数レンジ、例えば「高」
のコードブックＣＢH を用いて、ステップＳ４０３でフ
ァジーベクトル量子化した音声特徴量をデコードする。
【００３７】ステップＳ４０９において、ステップＳ８
０２でデコードされたベクトル（音声特徴量）をＩＦＦ
Ｔ（逆高速フーリエ変換）することにより、音声波形を
求める。ステップＳ４１０では、ステップＳ４０９で求
めた音声波形を低域ろ過フィルタにかけ、低域成分のみ
の波形を求める。
０２でデコードされたベクトル（音声特徴量）をＩＦＦ
Ｔ（逆高速フーリエ変換）することにより、音声波形を
求める。ステップＳ４１０では、ステップＳ４０９で求
めた音声波形を低域ろ過フィルタにかけ、低域成分のみ
の波形を求める。
【００３８】この例では図６中のステップＳ４１１，Ｓ
４１４が省略、簡素化された場合で、ステップＳ４１５
では、ステップＳ４１０で求めた低域成分のみの波形
と、ステップＳ４１３で求めた高域成分のみの波形をた
し合わせる。その後の処理は図６と同一である。なお１
つのコードブックＣＢM 中のコードベクトルと対応する
コードベクトルを他のコードブックＣＢH より取出し
て、音声の性質を変更する技術は例えば文献H.Matsumot
o "A Minimum Distortion Spectral Mapping Applied t
o Voice Quality Conversion" ＩＣＳＬＰ９０ １６１
〜１６４に示されている。
４１４が省略、簡素化された場合で、ステップＳ４１５
では、ステップＳ４１０で求めた低域成分のみの波形
と、ステップＳ４１３で求めた高域成分のみの波形をた
し合わせる。その後の処理は図６と同一である。なお１
つのコードブックＣＢM 中のコードベクトルと対応する
コードベクトルを他のコードブックＣＢH より取出し
て、音声の性質を変更する技術は例えば文献H.Matsumot
o "A Minimum Distortion Spectral Mapping Applied t
o Voice Quality Conversion" ＩＣＳＬＰ９０ １６１
〜１６４に示されている。
【００３９】図８に示した音声合成アルゴリズムにおい
て、Ｓ４０３で音声特徴量をファジーベクトル量子化す
る代りに移動ベクトル場平滑化の方法を用いて、基本周
波数レンジ「中」のコードブックで基本周波数レンジ
「中」の音声データをベクトル量子化したのち、合成し
たい基本周波数レンジのコードブックへの移動ベクトル
を求め、その移動先でデコードするという方法としても
よい。
て、Ｓ４０３で音声特徴量をファジーベクトル量子化す
る代りに移動ベクトル場平滑化の方法を用いて、基本周
波数レンジ「中」のコードブックで基本周波数レンジ
「中」の音声データをベクトル量子化したのち、合成し
たい基本周波数レンジのコードブックへの移動ベクトル
を求め、その移動先でデコードするという方法としても
よい。
【００４０】またステップＳ４０３でファジーベクトル
量子化や移動ベクトル場平滑化法でコードブックへの移
動ベクトルを求める場合に限らず、通常のベクトル量子
化と同様に、１つの入力特徴量を１つのベクトルコード
として量子化してもよい。しかし、このようにするより
もファジーベクトル量子化や、移動ベクトル場平滑化法
を用いたほうが、ステップＳ４１６で得られた時間領域
信号の連続性が優れたものとなる。
量子化や移動ベクトル場平滑化法でコードブックへの移
動ベクトルを求める場合に限らず、通常のベクトル量子
化と同様に、１つの入力特徴量を１つのベクトルコード
として量子化してもよい。しかし、このようにするより
もファジーベクトル量子化や、移動ベクトル場平滑化法
を用いたほうが、ステップＳ４１６で得られた時間領域
信号の連続性が優れたものとなる。
【００４１】またステップＳ４１０の低域ろ過フィルタ
による低域成分の取り出しは、入力音声素片の基本周波
数パターンと、合成したい基本周波数パターンとの差が
スペクトル包絡に影響を与える成分を取り出し、ステッ
プＳ４１３の高域ろ過フィルタは逆に基本周波数パター
ンの差（変化）によるスペクトル包絡への影響がほとん
どない高域成分が取り出される。これら低域成分と、高
域成分の境界周波数としては５００〜２０００Ｈｚ程度
に選定される。
による低域成分の取り出しは、入力音声素片の基本周波
数パターンと、合成したい基本周波数パターンとの差が
スペクトル包絡に影響を与える成分を取り出し、ステッ
プＳ４１３の高域ろ過フィルタは逆に基本周波数パター
ンの差（変化）によるスペクトル包絡への影響がほとん
どない高域成分が取り出される。これら低域成分と、高
域成分の境界周波数としては５００〜２０００Ｈｚ程度
に選定される。
【００４２】なお入力音声波形を、まず低域成分と高域
成分とに分離し、それぞれ図６又は図８のステップＳ４
０１，Ｓ４１２へ渡してもよい。上述ではこの発明をテ
キスト合成における入力音声素片と入力基本周波数パタ
ーンとの差が大きい場合に、合成音声の基本周波数とス
ペクトルとがマッチするように適用した。この場合に限
らず、一般の波形合成にもこの発明を適用でき、更に分
析合成においても、分析した原音声の基本周波数に対
し、合成音声の基本周波数を比較的大きく異ならせる場
合にもこの発明を適用すると良品質の合成音声が得られ
る。この場合は、図６の入力音声波形として原音声を用
い、基本周波数レンジ「中」のコードブック、つまり、
基準コードブックは、原音声の基本周波数レンジについ
て、先に述べたと同様の手法で作ればよい。
成分とに分離し、それぞれ図６又は図８のステップＳ４
０１，Ｓ４１２へ渡してもよい。上述ではこの発明をテ
キスト合成における入力音声素片と入力基本周波数パタ
ーンとの差が大きい場合に、合成音声の基本周波数とス
ペクトルとがマッチするように適用した。この場合に限
らず、一般の波形合成にもこの発明を適用でき、更に分
析合成においても、分析した原音声の基本周波数に対
し、合成音声の基本周波数を比較的大きく異ならせる場
合にもこの発明を適用すると良品質の合成音声が得られ
る。この場合は、図６の入力音声波形として原音声を用
い、基本周波数レンジ「中」のコードブック、つまり、
基準コードブックは、原音声の基本周波数レンジについ
て、先に述べたと同様の手法で作ればよい。
【００４３】分析合成では原音声は前記実施例における
入力音声素片（入力音声波形）と対応しており、この原
音声が通常、特徴量のベクトルコードとして量子化され
ており、これをデコードして音声合成するものであるか
ら、分析合成に、この発明を適用する場合は、例えば図
８中で、合成音声の基本周波数に応じたコードブックを
用いてベクトルコードをステップＳ８０２でデコードす
ればよい。分析合成に図６に示した手法を適用するに
は、合成しようとする音声のベクトルコードと対応する
コードベクトルと差分ベクトルをコードブックＣＢM と
差分ベクトルコードブックＣＢMH又はＣＢMLからそれぞ
れ取出し、原音声の基本周波数と、合成したい音声の基
本周波数との差に応じて、伸縮率を求め、この伸縮率に
より、前記取出した差分ベクトルを伸縮させ、これと前
記取出したコードベクトルを加算すればよい。
入力音声素片（入力音声波形）と対応しており、この原
音声が通常、特徴量のベクトルコードとして量子化され
ており、これをデコードして音声合成するものであるか
ら、分析合成に、この発明を適用する場合は、例えば図
８中で、合成音声の基本周波数に応じたコードブックを
用いてベクトルコードをステップＳ８０２でデコードす
ればよい。分析合成に図６に示した手法を適用するに
は、合成しようとする音声のベクトルコードと対応する
コードベクトルと差分ベクトルをコードブックＣＢM と
差分ベクトルコードブックＣＢMH又はＣＢMLからそれぞ
れ取出し、原音声の基本周波数と、合成したい音声の基
本周波数との差に応じて、伸縮率を求め、この伸縮率に
より、前記取出した差分ベクトルを伸縮させ、これと前
記取出したコードベクトルを加算すればよい。
【００４４】また上述の各音声合成処理は通常はＤＳＰ
（Digital Signal Processor）などによりプログラムを
解読実行して処理される。従ってそのためのプログラム
は記録媒体に記録されている。この発明をテキスト合成
に適用した場合の聴取実験について述べる。ＡＴＲ音素
バランス５２０単語を、女性話者１名が高ピッチ、中ピ
ッチ、低ピッチの３段階の高さで発声したものから、各
ピッチについて３２７個をコードブック作成に、７４個
を評価用データに用いた実験条件はサンプリング周波数
１２ＫＨｚ、帯域分離周波数５００Ｈｚ（ステップＳ４
１０，Ｓ４１１，Ｓ４１３でのフィルタの遮断周波
数）、コードブックサイズ５１２、ケプストラム次数
（図２の手法で得た特徴量）３０次、ｋ近傍数１２、フ
ァジネス１．５である。
（Digital Signal Processor）などによりプログラムを
解読実行して処理される。従ってそのためのプログラム
は記録媒体に記録されている。この発明をテキスト合成
に適用した場合の聴取実験について述べる。ＡＴＲ音素
バランス５２０単語を、女性話者１名が高ピッチ、中ピ
ッチ、低ピッチの３段階の高さで発声したものから、各
ピッチについて３２７個をコードブック作成に、７４個
を評価用データに用いた実験条件はサンプリング周波数
１２ＫＨｚ、帯域分離周波数５００Ｈｚ（ステップＳ４
１０，Ｓ４１１，Ｓ４１３でのフィルタの遮断周波
数）、コードブックサイズ５１２、ケプストラム次数
（図２の手法で得た特徴量）３０次、ｋ近傍数１２、フ
ァジネス１．５である。
【００４５】次にコードブックマッピングによるスペク
トル包絡の変形が合成音の品質向上に有効であるかを評
価するために、基本周波数変形音声の聴取実験を行っ
た。実験では、５単語について、自然音声Ａと同一テキ
ストで基本周波数レンジの異なる自然音声Ｂの基本周波
数パターンを、従来のＰＳＯＬＡ法により自然音声Ａの
ものに変形したもの（従来技術：合成音(1) ）、正解音
声（自然音声Ａ）を入力したもの（合成音(2) ）、図６
に示した方法により、自然音声Ｂの基本周波数パターン
を自然音声Ａのものに変形したもの（合成音(3) ）の３
つの合成音声についてＡＢＸ法により評価した。Ａ、Ｂ
には、それぞれ合成音(1) および(3) 、Ｘには合成音
(1) 〜(3) を用い、ＸがＡとＢのどちらに近いかを被験
者に判断させた。基本周波数パターンの変形は、中ピッ
チ（平均基本周波数２１６Ｈｚ）から低ピッチ（平均基
本周波数１７２Ｈｚ）、および中ピッチから高ピッチ
（平均基本周波数３１０Ｈｚ）とし、ピッチレンジの違
う同一単語音声の基本周波数パターンを入れ替えること
により実現した。また、差分ベクトルの伸縮率ｒは１．
０に固定し、パワーと音韻継続時間は、基本周波数変形
先の単語に一致させた。被験者は１２名である。聴取実
験の結果から、判定率ＣＲ( CR＝Pj/Pa*100(%)) を求め
た。ここで、PjはＸが合成音(3) に近いと判定された回
数、Paは提示回数である。図９Ａ，Ｂに結果を示す。
トル包絡の変形が合成音の品質向上に有効であるかを評
価するために、基本周波数変形音声の聴取実験を行っ
た。実験では、５単語について、自然音声Ａと同一テキ
ストで基本周波数レンジの異なる自然音声Ｂの基本周波
数パターンを、従来のＰＳＯＬＡ法により自然音声Ａの
ものに変形したもの（従来技術：合成音(1) ）、正解音
声（自然音声Ａ）を入力したもの（合成音(2) ）、図６
に示した方法により、自然音声Ｂの基本周波数パターン
を自然音声Ａのものに変形したもの（合成音(3) ）の３
つの合成音声についてＡＢＸ法により評価した。Ａ、Ｂ
には、それぞれ合成音(1) および(3) 、Ｘには合成音
(1) 〜(3) を用い、ＸがＡとＢのどちらに近いかを被験
者に判断させた。基本周波数パターンの変形は、中ピッ
チ（平均基本周波数２１６Ｈｚ）から低ピッチ（平均基
本周波数１７２Ｈｚ）、および中ピッチから高ピッチ
（平均基本周波数３１０Ｈｚ）とし、ピッチレンジの違
う同一単語音声の基本周波数パターンを入れ替えること
により実現した。また、差分ベクトルの伸縮率ｒは１．
０に固定し、パワーと音韻継続時間は、基本周波数変形
先の単語に一致させた。被験者は１２名である。聴取実
験の結果から、判定率ＣＲ( CR＝Pj/Pa*100(%)) を求め
た。ここで、PjはＸが合成音(3) に近いと判定された回
数、Paは提示回数である。図９Ａ，Ｂに結果を示す。
【００４６】図９Ａは中ピッチから低ピッチへの変換に
対するものであり、自然音声(2) の判定率が８５％、中
ピッチから高ピッチに上げる場合（図９Ｂ）の自然音声
の判定率が５９％であることから、この発明によれば従
来のＰＳＯＬＡ法に比べてより自然音声に近い基本周波
数変形音声の合成が可能であることがわかる。特に基本
周波数を下げる場合に、この発明は非常に有効であるこ
とがわかる。
対するものであり、自然音声(2) の判定率が８５％、中
ピッチから高ピッチに上げる場合（図９Ｂ）の自然音声
の判定率が５９％であることから、この発明によれば従
来のＰＳＯＬＡ法に比べてより自然音声に近い基本周波
数変形音声の合成が可能であることがわかる。特に基本
周波数を下げる場合に、この発明は非常に有効であるこ
とがわかる。
【００４７】図６に示した方法をテキスト音声合成に適
用した従来のＰＳＯＬＡ法を適用した場合と比較した。
ＡＴＲ音素バランス５０３文から抜き出した５つの文章
をピッチレンジ「低」、「中」、「高」で合成し、プリ
ファレンステストにより評価した。規則から求めたピッ
チパターンの不自然さによるテストへの影響を避けるた
め、自然音声から抽出したピッチパターンをピッチ
「中」の基本周波数パターンとして用いた。そのピッチ
レンジを上げてピッチ「高」、下げてピッチ「低」のピ
ッチパターンを作成し、合成に用いた。スペクトル包絡
変形に用いたコードブックは先の実験に用いたものと同
一のものを用い、実験条件も先の場合と同じである。図
１０Ａ，Ｂ，Ｃにその結果を示す。Ａは低ピッチレン
ジ、Ｂは中ピッチレンジ、Ｃは高ピッチレンジである。
この結果から、ピッチレンジが「低」と「中」の合成音
はＰＳＯＬＡ法と比較して、この発明の方法が被験者に
好まれることがわかる。
用した従来のＰＳＯＬＡ法を適用した場合と比較した。
ＡＴＲ音素バランス５０３文から抜き出した５つの文章
をピッチレンジ「低」、「中」、「高」で合成し、プリ
ファレンステストにより評価した。規則から求めたピッ
チパターンの不自然さによるテストへの影響を避けるた
め、自然音声から抽出したピッチパターンをピッチ
「中」の基本周波数パターンとして用いた。そのピッチ
レンジを上げてピッチ「高」、下げてピッチ「低」のピ
ッチパターンを作成し、合成に用いた。スペクトル包絡
変形に用いたコードブックは先の実験に用いたものと同
一のものを用い、実験条件も先の場合と同じである。図
１０Ａ，Ｂ，Ｃにその結果を示す。Ａは低ピッチレン
ジ、Ｂは中ピッチレンジ、Ｃは高ピッチレンジである。
この結果から、ピッチレンジが「低」と「中」の合成音
はＰＳＯＬＡ法と比較して、この発明の方法が被験者に
好まれることがわかる。
【００４８】図８に示したこの発明の方法と、従来法
（ＰＳＯＬＡ法）と聴取実験を示す。実験条件は、帯域
分離周波数を１５００Ｈｚとした点以外は先の場合と同
一である。従来の波形合成法で合成した基本周波数変形
音声と、この発明方法によるものとを聴取実験により比
較した実験では、この発明方法の最大ポテンシャルをみ
るために、低域部スペクトル包絡（ＩＰＳＥ）の変形は
完全にできたものとして、基本周波数パターン変形先の
単語から抽出したスペクトル包絡（正解スペクトル包
絡）を入力した。基本周波数パターンの変形は、高ピッ
チから低ピッチ、および低ピッチから高ピッチとし、ピ
ッチレンジの違う同一単語音声の基本周波数パターンを
入れ替えることにより実現した。またパワーと音韻継続
部は、ＦＯ変形先の単語に一致させた。評価は５単語に
ついて、５段階でその優劣を対比較した。被験者は８名
である。この実験結果を図１１Ａに示す。この図から、
この発明方法による合成音声の方が従来の波形合成によ
る合成音声よりもかなり品質が高いことが分かる。
（ＰＳＯＬＡ法）と聴取実験を示す。実験条件は、帯域
分離周波数を１５００Ｈｚとした点以外は先の場合と同
一である。従来の波形合成法で合成した基本周波数変形
音声と、この発明方法によるものとを聴取実験により比
較した実験では、この発明方法の最大ポテンシャルをみ
るために、低域部スペクトル包絡（ＩＰＳＥ）の変形は
完全にできたものとして、基本周波数パターン変形先の
単語から抽出したスペクトル包絡（正解スペクトル包
絡）を入力した。基本周波数パターンの変形は、高ピッ
チから低ピッチ、および低ピッチから高ピッチとし、ピ
ッチレンジの違う同一単語音声の基本周波数パターンを
入れ替えることにより実現した。またパワーと音韻継続
部は、ＦＯ変形先の単語に一致させた。評価は５単語に
ついて、５段階でその優劣を対比較した。被験者は８名
である。この実験結果を図１１Ａに示す。この図から、
この発明方法による合成音声の方が従来の波形合成によ
る合成音声よりもかなり品質が高いことが分かる。
【００４９】図１１Ａ中の評価１は従来の波形合成の方
が非常によい、評価２は従来の波形合成の方が少しよ
い、評価３は変わらない、評価４はこの発明方法が少し
よい、評価５はこの発明方法の方が非常によい、をそれ
ぞれ示す。また図９に示した実験結果と同様の実験を行
った。実験条件は帯域分離周波数を１５００Ｈｚとした
点以外は先の場合と同一である。その結果を図１１Ｂ，
Ｃに示す。Ｂは中ピッチから低ピッチへの変形であり、
Ｃは中ピッチから高ピッチへの変形である。
が非常によい、評価２は従来の波形合成の方が少しよ
い、評価３は変わらない、評価４はこの発明方法が少し
よい、評価５はこの発明方法の方が非常によい、をそれ
ぞれ示す。また図９に示した実験結果と同様の実験を行
った。実験条件は帯域分離周波数を１５００Ｈｚとした
点以外は先の場合と同一である。その結果を図１１Ｂ，
Ｃに示す。Ｂは中ピッチから低ピッチへの変形であり、
Ｃは中ピッチから高ピッチへの変形である。
【００５０】合成音(1) と(2) の判定率はそれぞれ、基
本周波数を中ピッチから低ピッチへ変形した場合で２１
％と９１％、中ピッチから高ピッチで１０％と９４％で
ある。また合成音(3) の判定率は、中ピッチから低ピッ
チで９０％、中ピッチから高ピッチで８５％であり、コ
ードブックマッピングによって、低域スペクトル包絡が
適切に変形できたことが分かる。図１０Ａの結果と合わ
せて考えると、この発明の音声合成方法により、従来の
波形合成法と比較して、より高品質な基本周波数変形音
声の合成が可能であることがわかる。
本周波数を中ピッチから低ピッチへ変形した場合で２１
％と９１％、中ピッチから高ピッチで１０％と９４％で
ある。また合成音(3) の判定率は、中ピッチから低ピッ
チで９０％、中ピッチから高ピッチで８５％であり、コ
ードブックマッピングによって、低域スペクトル包絡が
適切に変形できたことが分かる。図１０Ａの結果と合わ
せて考えると、この発明の音声合成方法により、従来の
波形合成法と比較して、より高品質な基本周波数変形音
声の合成が可能であることがわかる。
【００５１】
【発明の効果】以上説明したように、この発明によれ
ば、例えばテキスト音声合成システムにおいて、音声素
片の基本周波数パターンを大きく変更して合成すること
による、合成音声の品質劣化を防止することが可能とな
る。その結果、従来のテキスト音声合成システムと比較
して、より高品質な音声が合成可能となる。また、分析
合成において、原音声と、基本周波数が比較的大きく異
なっても、高品質の合成音声を得ることができる。つま
りより人間らしい音声、感情のこもった音声を合成する
ためには、基本周波数パターンを様々に変形する必要が
あるが、この発明により、そのような音声が高品質に合
成可能となる。
ば、例えばテキスト音声合成システムにおいて、音声素
片の基本周波数パターンを大きく変更して合成すること
による、合成音声の品質劣化を防止することが可能とな
る。その結果、従来のテキスト音声合成システムと比較
して、より高品質な音声が合成可能となる。また、分析
合成において、原音声と、基本周波数が比較的大きく異
なっても、高品質の合成音声を得ることができる。つま
りより人間らしい音声、感情のこもった音声を合成する
ためには、基本周波数パターンを様々に変形する必要が
あるが、この発明により、そのような音声が高品質に合
成可能となる。
【図１】この発明の原理の基本手順を示す図。
【図２】この発明において、音声波形からスペクトル包
絡を抽出するためのアルゴリズムを示すフローチャー
ト。
絡を抽出するためのアルゴリズムを示すフローチャー
ト。
【図３】図２のアルゴリズムで最大値のサンプリング点
を説明するための図。
を説明するための図。
【図４】この発明において、異なった基本周波数レンジ
の音声データの間で、ピッチマーク間の対応付けを説明
するための図。
の音声データの間で、ピッチマーク間の対応付けを説明
するための図。
【図５】この発明における一実施形態において、テキス
ト音声合成システムにあらかじめ組み込んでおく、３つ
のマッピングコードブックの作成方法を示すフローチャ
ート。
ト音声合成システムにあらかじめ組み込んでおく、３つ
のマッピングコードブックの作成方法を示すフローチャ
ート。
【図６】この発明の実施例において、合成したい基本周
波数パターンに応じて、音声素片のスペクトル包絡を変
形するアルゴリズムを示すフローチャート。
波数パターンに応じて、音声素片のスペクトル包絡を変
形するアルゴリズムを示すフローチャート。
【図７】図６に示した差分ベクトルによるスペクトル包
絡変形処理の概念を示す図。
絡変形処理の概念を示す図。
【図８】この発明の他の実施例において、合成したい基
本周波数パターンに応じて音声素片のスペクトル包絡を
変形するアルゴリズムを示すフローチャート。
本周波数パターンに応じて音声素片のスペクトル包絡を
変形するアルゴリズムを示すフローチャート。
【図９】Ａ、Ｂは図６に示した実施例の効果を説明する
ための実験結果を示す図である。
ための実験結果を示す図である。
【図１０】Ａ、Ｂは図６に示した実施例の効果を説明す
るための他の実験結果を示す図である。
るための他の実験結果を示す図である。
【図１１】Ａ〜Ｃは図８に示した実施例の効果を説明す
るための実験結果を示す図である。
るための実験結果を示す図である。
Claims (21)
- 【請求項１】 入力音声を、その基本周波数と異なる所
望の基本周波数で音声を合成する音声合成方法において
あらかじめ基本周波数レンジの違う学習用音声データか
ら、基本周波数とスペクトル包絡の関係を求めておき、 上記所望の基本周波数の上記入力音声の基本周波数から
のずれ量に応じて、上記基本周波数とスペクトル包絡の
関係を選択し、 その選択した基本周波数とスペクトル包絡との関係を用
いて上記入力音声のスペクトル包絡に変形処理を施すこ
とを特徴とする音声合成方法。 - 【請求項２】 請求項１記載の音声合成方法において、 上記基本周波数とスペクトル包絡の関係を、各基本周波
数レンジごとに、各コードベクトルが相互に対応づけさ
れたコードブックとして作成しておき、 上記入力音声を、その基本周波数と対応するコードブッ
クを用いてベクトル量子化し、 その量子化されたベクトルを、上記所望の基本周波数レ
ンジのコードブックでデコードすることにより上記スペ
クトル包絡の変形処理されたものを得ることを特徴とす
る音声合成方法。 - 【請求項３】 請求項２記載の音声合成方法において、 上記ベクトル量子化はファジーベクトル量子化であるこ
とを特徴とする音声合成方法。 - 【請求項４】 請求項２記載の音声合成方法において、 上記基本周波数とスペクトル包絡の関係を、入力音声の
基本周波数レンジのコードブック、このコードブックを
基準コードブックと記すと、この基準コードブックと他
の基本周波数レンジのコードブックとの対応コードベク
トルの差分ベクトルよりなる差分ベクトルコードブック
として作成しておき、 上記入力音声を、その基本周波数のコードブックを用い
てベクトル量子化し、 そのベクトル量子化されたコードと対応した差分ベクト
ルを上記差分ベクトルコードブックから求め、 その差分ベクトルを、上記所望基本周波数の上記ずれに
応じて伸縮し、 その伸縮した差分ベクトルを上記ベクトル量子化された
コードのベクトルとを加算して上記スペクトル包絡の変
形処理されたものを得ることを特徴とする音声合成方
法。 - 【請求項５】 請求項４記載の音声合成方法において、 上記基準コードブックと、上記他の基本周波数レンジの
コードブックとの各対応クラスごとの基本周波数の平均
値の差よりなる周波数差分コードブックを作成してお
き、 上記ベクトル量子化されたコードと対応する差分周波数
を上記周波数差分コードブックから求め、その差分周波
数で上記ずれを規準化して上記ずれに応じた伸縮を行う
ことを特徴とする音声合成方法。 - 【請求項６】 請求項４記載の音声合成方法において、 上記ベクトル量子化はファジーベクトル量子化であり、 上記差分ベクトルは、上記ファジーベクトル量子化にお
けるｋ・近傍における差分ベクトルに対し、ファジー級
関数による重みづけ合成を行って求めることを特徴とす
る音声合成方法。 - 【請求項７】 請求項２乃至６記載の何れかの音声合成
方法において、 上記入力音声と同じ基本周波数レンジの学習用音声デー
タのスペクトル包絡を統計的手法によってクラスタリン
グして基準コードブックを作り、 上記入力音声と基本周波数レンジの異なる学習用音声デ
ータと、上記入力音声と同じ基本周波数レンジの学習用
音声データとの間で、同一のテキスト中の各有声音素に
あるピッチマークについて時間軸上で線形伸縮マッチン
グを行って、１周期波形ごとに時間的対応をとり、 上記基準コードブックにおけるクラスタリングの結果を
参照しながら、上記入力音声と基本周波数レンジの異な
る上記コードブックを作成することを特徴とする音声合
成方法。 - 【請求項８】 請求項２乃至７記載の何れかの音声合成
方法において、 対数パワースペクトル上で、基本周波数の整数倍近傍に
おける最大値をサンプリングし、 そのサンプリング点の間を直線で補間し、 その補間した直線パターンを等間隔でサンプリングし、 そのサンプリング系列を余弦モデルで近似してそのモデ
ルの係数を、上記スペクトル包絡として用いることを特
徴とする音声合成方法。 - 【請求項９】 請求項１乃至８記載の何れかの音声合成
方法において、 スペクトル領域で所定周波数より低域成分についてのみ
上記スペクトル包絡の変形処理を行うことを特徴とする
音声合成方法。 - 【請求項１０】 請求項９記載の音声合成方法におい
て、 上記入力音声の全帯域に対して、上記スペクトル包絡の
変形処理を行い、そのスペクトル包絡変形処理された信
号を上記低域成分と、これより高域成分とに分離し、そ
の分離された高域成分のレベルに上記入力音声の高域成
分のレベルを調整し、その調整された入力音声の高域成
分と上記変形処理された低域成分とを加算して、上記低
域成分のみ変形処理されたものを得ることを特徴とする
音声合成方法。 - 【請求項１１】 請求項１乃至９記載の何れかの音声合
成方法において、 上記入力音声のスペクトル包絡を、メル尺度に変換した
後、上記スペクトル包絡変形処理を行い、そのスペクト
ル包絡変形処理されたものを線形尺度に変換することを
特徴とする音声合成方法。 - 【請求項１２】 請求項２乃至８記載の何れかの音声合
成方法において、 上記基本周波数レンジのコードブックは「高」「中」
「低」の三つのレンジについて用いることを特徴とする
音声合成方法。 - 【請求項１３】 入力音声を、その基本周波数と異なる
所望の基本周波数で音声を合成する音声合成装置におい
て、 上記入力音声と同じ基本周波数レンジの学習用音声デー
タのスペクトル包絡を統計的手法によってクラスタリン
グして作られた基準コードブックと、 上記入力音声と異なる基本周波数レンジをもち、上記学
習用音声データと同一テキストの学習用音声データか
ら、上記基準コードブックのコードベクトルと対応づけ
て作成された他レンジコードブックと、 上記入力音声のスペクトル包絡を、上記基準コードブッ
クを用いてベクトル量子化する量子化手段と、 その量子化手段により量子化されたコードを、上記所望
の基本周波数と対応する基本周波数レンジのコードブッ
クを用いてデコードする復号手段と、 を備えていることを特徴とする音声合成装置。 - 【請求項１４】 入力音声を、その基本周波数と異なる
所望の基本周波数で音声を合成する音声合成装置におい
て、 上記入力音声と同じ基本周波数レンジの学習用音声デー
タのスペクトル包絡を統計的手法によってクラスタリン
グして作られた基準コードブックと、 上記入力音声と異なる基本周波数レンジをもち、上記学
習用音声データと同一テキストの学習用音声データか
ら、上記基準コードブックのコードベクトルと対応づけ
て作成された他レンジコードブックと、上記基準コード
ブックとの対応コードベクトルの差分ベクトルよりなる
差分ベクトルコードブックと、 上記基準コードブックと上記他レンジコードブックとの
対応クラス間の要素ベクトルの基本周波数平均値の差分
よりなる差分周波数コードブックと、 上記入力音声のスペクトル包絡を、上記基準コードブッ
クを用いてベクトル量子化する量子化手段と、 上記量子化手段により量子化されたコードと対応した差
分ベクトルを、上記差分ベクトルコードブックを用いて
求める差分ベクトル評価手段と、 上記入力音声の基本周波数と、上記所望の基本周波数
と、上記量子化されたコードと対応した上記差分周波数
コードブックより求めた差分周波数とから伸縮率を演算
する伸縮率演算手段と、 上記伸縮率により上記差分ベクトルを伸縮させる伸縮手
段と、 上記伸縮された差分ベクトルと、上記入力音声信号のス
ペクトル包絡とを加算する手段と、 上記加算されたスペクトル包絡を時間領域に変換する時
間領域変換手段と、 を具備することを特徴とする音声合成装置。 - 【請求項１５】 請求項１４記載の音声合成装置におい
て、 上記量子化手段はファジーベクトル量子化手段であり、 上記差分ベクトル評価手段は上記ファジーベクトル量子
化手段の量子化の際に求めたｋ・近傍と対応する上記差
分ベクトルコードブックの差分ベクトルを、ファジー級
関数で重み付け合成して上記差分ベクトルを求める手段
であり、 上記伸縮率演算手段は、上記ｋ・近傍と対応
する上記差分周波数コードブックの差分周波数を、ファ
ジー級関数で重み付け合成し、その合成差分周波数で上
記両基本周波数の差を割算して上記伸縮率を求める手段
であることを特徴とする音声合成装置。 - 【請求項１６】 請求項１４又は１５記載の音声合成装
置において、 上記時間領域に変換された信号の低域成分を取り出す低
域通過フィルタと、 その低域通過フィルタの遮断周波数と同一遮断周波数を
もち、上記入力音声信号の高域成分を取り出す高域通過
フィルタと、 上記低域通過フィルタの出力と上記高域通過フィルタの
出力とを加算する手段とを含むことを特徴とする音声合
成装置。 - 【請求項１７】 入力音声を、その基本周波数と異なる
所望の基本周波数で音声を合成する処理のプログラムを
記録した記録媒体であって、 上記入力音声を、その基本周波数と対応する基本周波数
のスペクトル包絡の基準コードブックを用いてベクトル
量子化し、 そのベクトル量子化されたコードを、上記所望の基本周
波数と対応し、各コードベクトルが上記基準コードブッ
クと対応づけられたコードブックを参照してデコードし
て、スペクトル包絡の変形処理された音声素片を得るプ
ログラムを記録した記録媒体。 - 【請求項１８】 入力音声を、その基本周波数と異なる
所望の基本周波数で音声を合成する処理のプログラムを
記録した記録媒体であって、 上記入力音声を、その基本周波数レンジの基準コードブ
ックを用いてベクトル量子化し、 そのベクトル量子化されたコードと対応した差分ベクト
ルを、上記所望の基本周波数のレンジと対応する差分ベ
クトルコードブックから求め、 上記差分ベクトルを、上記入力音声の基本周波数と、上
記所望の基本周波数との差に応じて伸縮させ、 その伸縮された差分ベクトルと上記入力音声のスペクト
ル包絡とを加算し、 その加算したスペクトル包絡を時間領域の信号に変換し
てスペクトル包絡の変形処理された音声素片を得るプロ
グラムを記録した記録媒体。 - 【請求項１９】 請求項１８記載の記録媒体において、 上記ベクトル量子化はファジーベクトル量子化であり、 そのファジーベクトル量子化におけるｋ・近傍コードと
対応する差分ベクトルを上記差分ベクトルコードブック
に求め、 これら差分ベクトルを上記ファジーベクトル量子化にお
けるファジー級関数により重み付け合成して上記差分ベ
クトルを得るプログラムを記録した記録媒体。 - 【請求項２０】 請求項１９記載の記録媒体において、 上記ｋ・近傍コードと対応する差分周波数を差分周波数
コードブックから求め、これら差分周波数を上記ファジ
ー級関数で重み付け合成し、その合成された差分周波数
で上記両基本周波数の差を割算して伸縮率を求め、その
伸縮率で上記差分ベクトルを伸縮させるプログラムを記
録した記録媒体。 - 【請求項２１】 請求項１７乃至２０記載の何れかの記
録媒体において、 対数パワースペクトル上で基本周波数の整数倍近傍にお
ける最大値をサンプリングし、これらサンプリング点の
間を直線で補間し、その直線パターンを、等間隔でサン
プリングし、そのサンプリング系列を余弦モデルで近似
し、そのモデルの係数を、上記スペクトル包絡を表す特
徴量とするプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23974597A JP3444396B2 (ja) | 1996-09-11 | 1997-09-04 | 音声合成方法、その装置及びプログラム記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24035096 | 1996-09-11 | ||
| JP8-240350 | 1996-09-11 | ||
| JP23974597A JP3444396B2 (ja) | 1996-09-11 | 1997-09-04 | 音声合成方法、その装置及びプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10143196A true JPH10143196A (ja) | 1998-05-29 |
| JP3444396B2 JP3444396B2 (ja) | 2003-09-08 |
Family
ID=26534401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23974597A Expired - Lifetime JP3444396B2 (ja) | 1996-09-11 | 1997-09-04 | 音声合成方法、その装置及びプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3444396B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001184099A (ja) * | 1999-12-22 | 2001-07-06 | Yamaha Corp | 音声変換装置及び音声変換方法 |
| WO2002063610A1 (en) * | 2001-02-02 | 2002-08-15 | Nec Corporation | Voice code sequence converting device and method |
| WO2009022454A1 (ja) * | 2007-08-10 | 2009-02-19 | Panasonic Corporation | 音声分離装置、音声合成装置および声質変換装置 |
| CN111837183A (zh) * | 2018-03-09 | 2020-10-27 | 雅马哈株式会社 | 声音处理方法、声音处理装置及记录介质 |
| WO2025198009A1 (ja) * | 2024-03-22 | 2025-09-25 | 株式会社OptoComb | 信号処理方法及び信号処理装置 |
-
1997
- 1997-09-04 JP JP23974597A patent/JP3444396B2/ja not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001184099A (ja) * | 1999-12-22 | 2001-07-06 | Yamaha Corp | 音声変換装置及び音声変換方法 |
| WO2002063610A1 (en) * | 2001-02-02 | 2002-08-15 | Nec Corporation | Voice code sequence converting device and method |
| US7505899B2 (en) | 2001-02-02 | 2009-03-17 | Nec Corporation | Speech code sequence converting device and method in which coding is performed by two types of speech coding systems |
| WO2009022454A1 (ja) * | 2007-08-10 | 2009-02-19 | Panasonic Corporation | 音声分離装置、音声合成装置および声質変換装置 |
| US8255222B2 (en) | 2007-08-10 | 2012-08-28 | Panasonic Corporation | Speech separating apparatus, speech synthesizing apparatus, and voice quality conversion apparatus |
| CN111837183A (zh) * | 2018-03-09 | 2020-10-27 | 雅马哈株式会社 | 声音处理方法、声音处理装置及记录介质 |
| WO2025198009A1 (ja) * | 2024-03-22 | 2025-09-25 | 株式会社OptoComb | 信号処理方法及び信号処理装置 |
| JP2025145786A (ja) * | 2024-03-22 | 2025-10-03 | 株式会社OptoComb | 信号処理方法及び信号処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3444396B2 (ja) | 2003-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7035791B2 (en) | Feature-domain concatenative speech synthesis | |
| JP5038995B2 (ja) | 声質変換装置及び方法、音声合成装置及び方法 | |
| US9368103B2 (en) | Estimation system of spectral envelopes and group delays for sound analysis and synthesis, and audio signal synthesis system | |
| JP3294604B2 (ja) | 波形の加算重畳による音声合成のための処理装置 | |
| JP2956548B2 (ja) | 音声帯域拡大装置 | |
| US8280724B2 (en) | Speech synthesis using complex spectral modeling | |
| WO1993018505A1 (en) | Voice transformation system | |
| JPH10171484A (ja) | 音声合成方法および装置 | |
| JP3340748B2 (ja) | 音響要素・データベースを有する音声合成装置 | |
| CN101983402B (zh) | 声音分析装置、方法、系统、合成装置、及校正规则信息生成装置、方法 | |
| CN108369803B (zh) | 用于形成基于声门脉冲模型的参数语音合成系统的激励信号的方法 | |
| US7792672B2 (en) | Method and system for the quick conversion of a voice signal | |
| Al-Radhi et al. | Time-Domain Envelope Modulating the Noise Component of Excitation in a Continuous Residual-Based Vocoder for Statistical Parametric Speech Synthesis. | |
| EP0829849B1 (en) | Method and apparatus for speech synthesis and medium having recorded program therefor | |
| JP3444396B2 (ja) | 音声合成方法、その装置及びプログラム記録媒体 | |
| JP2003108178A (ja) | 音声合成装置及び音声合成用素片作成装置 | |
| JPH08248994A (ja) | 声質変換音声合成装置 | |
| US7822599B2 (en) | Method for synthesizing speech | |
| JP7079455B1 (ja) | 音響モデル学習装置、方法およびプログラム、並びに、音声合成装置、方法およびプログラム | |
| JPH09319391A (ja) | 音声合成方法 | |
| Reddy et al. | Inverse filter based excitation model for HMM‐based speech synthesis system | |
| JP4468506B2 (ja) | 音声データ作成装置および声質変換方法 | |
| JPH07261798A (ja) | 音声分析合成装置 | |
| Orphanidou et al. | Voice morphing using the generative topographic mapping | |
| JP3283657B2 (ja) | 音声規則合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090627 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090627 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100627 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100627 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140627 Year of fee payment: 11 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |