JPH11259091A - 音声合成装置及び方法 - Google Patents
音声合成装置及び方法Info
- Publication number
- JPH11259091A JPH11259091A JP10057251A JP5725198A JPH11259091A JP H11259091 A JPH11259091 A JP H11259091A JP 10057251 A JP10057251 A JP 10057251A JP 5725198 A JP5725198 A JP 5725198A JP H11259091 A JPH11259091 A JP H11259091A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- unit
- units
- information
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
(57)【要約】
【課題】2つの音声素変を接続する際に、最適な接続位
置を検出し、この検出された接続位置で当該2つの音声
素変の接続を行い合成音声の高品位化を図る。 【解決手段】音声合成すべき情報に基づいて選択された
音声素片(501)を接続するにおいて、接続すべき2
つの音声素片の境界付近において、両音声素片間の対応
を動的計画法を用いて決定する。そして、決定された両
音声素片間の対応から、最小距離の対応(503)を検
出し、この位置を当該両音声素片の接続位置とする。ま
た、音声素片の区切り位置として、後にくる音声素片上
において、前にくる音素の終端部に対応する位置(50
4)が決定される。こうして接続された音声素片と、決
定された区切り位置に基づいて合成音声が生成される。
置を検出し、この検出された接続位置で当該2つの音声
素変の接続を行い合成音声の高品位化を図る。 【解決手段】音声合成すべき情報に基づいて選択された
音声素片(501)を接続するにおいて、接続すべき2
つの音声素片の境界付近において、両音声素片間の対応
を動的計画法を用いて決定する。そして、決定された両
音声素片間の対応から、最小距離の対応(503)を検
出し、この位置を当該両音声素片の接続位置とする。ま
た、音声素片の区切り位置として、後にくる音声素片上
において、前にくる音素の終端部に対応する位置(50
4)が決定される。こうして接続された音声素片と、決
定された区切り位置に基づいて合成音声が生成される。
Description
【0001】
【発明の属する技術分野】本発明は、音声合成装置及び
方法に関するものである。
方法に関するものである。
【0002】
【従来の技術】従来の音声規則合成では、音声素片は予
め決められた音声素片の境界をもとに登録されている。
そして、音声合成の際には、その境界で所望の音声素片
を接続して、合成音声を作成していた。このため、2つ
の音声素変を接続するにおいての最適な接続部分は一切
考慮されていない。
め決められた音声素片の境界をもとに登録されている。
そして、音声合成の際には、その境界で所望の音声素片
を接続して、合成音声を作成していた。このため、2つ
の音声素変を接続するにおいての最適な接続部分は一切
考慮されていない。
【0003】図1は、一般的な音声合成処理における音
声素変の接続を説明する図である。図1では、音声素片
は、前後の音素の情報(triphone)をもとに選択されてい
る。ここでは、/*aki*/を合成する様子が示されて
いる。(*)a(k),(a)k(i),(k)i(*)の3つの音声素片(Tri
phone)を境界付近の音声素片とともに選択する。()
内は、隣接音素を表し、真中の音素が当該音声素片の音
素を表す。
声素変の接続を説明する図である。図1では、音声素片
は、前後の音素の情報(triphone)をもとに選択されてい
る。ここでは、/*aki*/を合成する様子が示されて
いる。(*)a(k),(a)k(i),(k)i(*)の3つの音声素片(Tri
phone)を境界付近の音声素片とともに選択する。()
内は、隣接音素を表し、真中の音素が当該音声素片の音
素を表す。
【0004】図1に示されるように、選択された各音声
素片は予め接続位置が決められており、その位置で隣接
する2つの音声素片が接続される。そして、接続された
音声素片を韻律情報をもとに伸縮し、合成音声波形を作
成する。
素片は予め接続位置が決められており、その位置で隣接
する2つの音声素片が接続される。そして、接続された
音声素片を韻律情報をもとに伸縮し、合成音声波形を作
成する。
【0005】
【発明が解決しようとする課題】しかしながら、音声素
片の接続は多岐にわたり、予め決められた位置が全ての
音声素変の接続において適切な位置となることはあり得
ない。したがって、上記の音声合成方法では、最適な接
続位置で接続された合成音声を得ることはできず、その
結果、合成音声の音質を劣化させていた。
片の接続は多岐にわたり、予め決められた位置が全ての
音声素変の接続において適切な位置となることはあり得
ない。したがって、上記の音声合成方法では、最適な接
続位置で接続された合成音声を得ることはできず、その
結果、合成音声の音質を劣化させていた。
【0006】本発明は上記の問題に鑑みてなされたもの
であり、2つの音声素変を接続する際に、最適な接続位
置を検出し、この検出された接続位置で当該2つの音声
素変の接続を行うことを可能とする音声合成装置及び方
法を提供することを目的とする。
であり、2つの音声素変を接続する際に、最適な接続位
置を検出し、この検出された接続位置で当該2つの音声
素変の接続を行うことを可能とする音声合成装置及び方
法を提供することを目的とする。
【0007】また、本発明の他の目的は、最適な接続位
置の検出にDPマッチングを適用することにある。
置の検出にDPマッチングを適用することにある。
【0008】また、本発明の他の目的は、最適な接続位
置検出におけるDPマッチングを高速に行えるようにす
ることにある。
置検出におけるDPマッチングを高速に行えるようにす
ることにある。
【0009】
【課題を解決するための手段】上記の目的を達成するた
めの本発明の音声合成装置は、音声合成すべき情報に基
づいて接続すべき音声素片を選択する選択手段と、前記
選択手段で選択された接続すべき音声素片の境界付近に
おいて、両音声素片間の対応を動的計画法を用いて決定
する決定手段と、前記決定手段で決定された両音声素片
間の対応に基づいて該両音声素片を接続する接続手段
と、前記接続手段で接続された音声素片に基づいて合成
音声を生成する生成手段とを備える。
めの本発明の音声合成装置は、音声合成すべき情報に基
づいて接続すべき音声素片を選択する選択手段と、前記
選択手段で選択された接続すべき音声素片の境界付近に
おいて、両音声素片間の対応を動的計画法を用いて決定
する決定手段と、前記決定手段で決定された両音声素片
間の対応に基づいて該両音声素片を接続する接続手段
と、前記接続手段で接続された音声素片に基づいて合成
音声を生成する生成手段とを備える。
【0010】また、例えば、音声素片の情報を量子点で
表現し、各量子点間の距離を距離テーブルに保持してお
くことで、上記決定手段における動的計画法による処理
を高速化することができる。
表現し、各量子点間の距離を距離テーブルに保持してお
くことで、上記決定手段における動的計画法による処理
を高速化することができる。
【0011】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。
明の好適な実施形態を説明する。
【0012】図2は、本実施形態による音声合成装置の
ハードウェアの構成を示すブロック図である。本実施形
態では、一般的なパーソナルコンピュータを音声合成装
置として用いる場合を説明する。図2において、101
はROM、102はRAM、103はCPU、104は
バス、105はD/A変換部(出力部)、106は表示
部、107は入力部、108は通信部、109は外部記
憶装置である。
ハードウェアの構成を示すブロック図である。本実施形
態では、一般的なパーソナルコンピュータを音声合成装
置として用いる場合を説明する。図2において、101
はROM、102はRAM、103はCPU、104は
バス、105はD/A変換部(出力部)、106は表示
部、107は入力部、108は通信部、109は外部記
憶装置である。
【0013】本実施形態の音声合成処理を実現するため
の制御プログラムやその制御プログラムで用いるデータ
(韻律生成規則情報、音声素片情報や検索用インデック
ス)は、ROM101あるいは外部記憶装置109、あ
るいは、通信回線108を介して接続される記憶装置
(不図示)に記憶される。そして、この制御プログラム
は、CPU103の制御のもと、バス104を通じてR
AM102に取り込まれ、CPU103によって実行さ
れる。
の制御プログラムやその制御プログラムで用いるデータ
(韻律生成規則情報、音声素片情報や検索用インデック
ス)は、ROM101あるいは外部記憶装置109、あ
るいは、通信回線108を介して接続される記憶装置
(不図示)に記憶される。そして、この制御プログラム
は、CPU103の制御のもと、バス104を通じてR
AM102に取り込まれ、CPU103によって実行さ
れる。
【0014】CPU103はこの制御プログラムを実行
することにより、音声合成波形を作成し、D/A105
を介して、あるいは通信回線108を通じて合成音声を
出力する。なお、合成したい内容のテキストは、入力部
107や通信回線108、ROM101などから得る。
表示部106は場合によって、入出力や内部状態のモニ
タを行う。
することにより、音声合成波形を作成し、D/A105
を介して、あるいは通信回線108を通じて合成音声を
出力する。なお、合成したい内容のテキストは、入力部
107や通信回線108、ROM101などから得る。
表示部106は場合によって、入出力や内部状態のモニ
タを行う。
【0015】図3は、本実施形態による規則合成システ
ムのモジュール構成を示すブロック図である。図3にお
いて、201はテキスト入部、202は言語解析部、2
03は韻律生成規則保持部、204は韻律生成部、20
5は音声素片選択部、206は音声素片選択部、207
は音声素片接続/合成部、208は音声波形出力部であ
る。
ムのモジュール構成を示すブロック図である。図3にお
いて、201はテキスト入部、202は言語解析部、2
03は韻律生成規則保持部、204は韻律生成部、20
5は音声素片選択部、206は音声素片選択部、207
は音声素片接続/合成部、208は音声波形出力部であ
る。
【0016】テキスト入力部201より入力されたテキ
ストは、言語解析部202で言語解析される。韻律生成
部204は、言語解析部202の解析結果と、韻律生成
規則保持部203に保持されている情報とをもとに韻律
情報を生成する。続いて、音声素片選択部206は言語
解析結果や韻律生成の結果を用いて、音声素片保持部2
05に保持されている音声素片から音声素片を選択す
る。音声素片接続/合成部207は、選択された音声素
片を接続して音声合成を行う。音声合成された合成波形
は音声波形出力部208で出力される。
ストは、言語解析部202で言語解析される。韻律生成
部204は、言語解析部202の解析結果と、韻律生成
規則保持部203に保持されている情報とをもとに韻律
情報を生成する。続いて、音声素片選択部206は言語
解析結果や韻律生成の結果を用いて、音声素片保持部2
05に保持されている音声素片から音声素片を選択す
る。音声素片接続/合成部207は、選択された音声素
片を接続して音声合成を行う。音声合成された合成波形
は音声波形出力部208で出力される。
【0017】次に、上記の構成を備えた本実施形態の音
声合成処理について説明する。図4は図3で示したブロ
ック図に対応する規則合成システムの処理の流れを示す
図である。
声合成処理について説明する。図4は図3で示したブロ
ック図に対応する規則合成システムの処理の流れを示す
図である。
【0018】流れの大枠は、次の通りである。ステップ
401でテキスト入力部201よりテキストが入力され
ると、ステップ402で言語解析部202が当該テキス
トの言語解析を行う。次に、ステップ403では、韻律
生成部204が言語解析の結果に基づいて韻律情報を生
成する。ステップ404では、音声素片選択部206が
音声素片の選択を行う。次に、ステップ405におい
て、音声素片接続/合成部207が音声素片の接続/合
成を行う。そして、ステップ406で、音声波形出力部
208が合成波形を出力する。
401でテキスト入力部201よりテキストが入力され
ると、ステップ402で言語解析部202が当該テキス
トの言語解析を行う。次に、ステップ403では、韻律
生成部204が言語解析の結果に基づいて韻律情報を生
成する。ステップ404では、音声素片選択部206が
音声素片の選択を行う。次に、ステップ405におい
て、音声素片接続/合成部207が音声素片の接続/合
成を行う。そして、ステップ406で、音声波形出力部
208が合成波形を出力する。
【0019】以上の各ステップのうち、ステップ402
〜405が規則合成処理(Text-To-Speech)301を構成
する。また、ステップ403〜405が音響処理302
を構成する。そして、ステップ404、405が音声素
変の接続処理303を構成する。
〜405が規則合成処理(Text-To-Speech)301を構成
する。また、ステップ403〜405が音響処理302
を構成する。そして、ステップ404、405が音声素
変の接続処理303を構成する。
【0020】図5は図4で示したステップ404(音声
素片選択)とステップ405(音声素片接続)の詳細な
処理手順を説明する図である。
素片選択)とステップ405(音声素片接続)の詳細な
処理手順を説明する図である。
【0021】まず、ステップ501では、音素環境に依
存して音声素片を選択する。複数候補の音声素片が存在
する場合には、韻律やスペクトルなどの情報(スペクト
ル情報としては、例えば、cepstrum,Δcepstrum,powe
r,F0等があげられる)をもとに選択する。場合によっ
てはあらゆる候補について選択基準の尺度を以上の情報
を元に求め、最適なものを最終的に決定する。
存して音声素片を選択する。複数候補の音声素片が存在
する場合には、韻律やスペクトルなどの情報(スペクト
ル情報としては、例えば、cepstrum,Δcepstrum,powe
r,F0等があげられる)をもとに選択する。場合によっ
てはあらゆる候補について選択基準の尺度を以上の情報
を元に求め、最適なものを最終的に決定する。
【0022】ステップ502では、接続すべき2つの音
声素片の境界付近でDPマッチングを用いた最短経路探
索を行い、最短経路を決定する。この場合のDPマッチ
ングには、両端点固定DPマッチングあるいは両端点フ
リーDPマッチングのいずれを用いても構わない。ま
た、DPマッチングの距離計算の際、予め求めておいた
量子点間の距離テーブルと音声素片に割り振られた量子
点列を用いるようにすれば、DPマッチングの計算をよ
り高速化することが可能である。なお、この点について
は後述する。
声素片の境界付近でDPマッチングを用いた最短経路探
索を行い、最短経路を決定する。この場合のDPマッチ
ングには、両端点固定DPマッチングあるいは両端点フ
リーDPマッチングのいずれを用いても構わない。ま
た、DPマッチングの距離計算の際、予め求めておいた
量子点間の距離テーブルと音声素片に割り振られた量子
点列を用いるようにすれば、DPマッチングの計算をよ
り高速化することが可能である。なお、この点について
は後述する。
【0023】次に、ステップ503において、ステップ
502のDPマッチングにより求まった最短経路上の対
応点のうち最短距離で対応づけられた2つの音素素片の
位置を前の素片から次の素片へと移る接続点とする。
502のDPマッチングにより求まった最短経路上の対
応点のうち最短距離で対応づけられた2つの音素素片の
位置を前の素片から次の素片へと移る接続点とする。
【0024】ステップ504では、DPマッチングによ
り求まった最短経路によって音声素片の長さを決定する
ために、前の音声素片の終端が対応する次の音声素片の
位置を前の素片の終端と見なし、時間長の制御用の情報
とする(図6により後述する)。あるいは、前の音声素
片の終端が対応する次の音声素片の位置と、後ろの音声
素片の始端に基づいて求められる次の音声素片の位置
(例えば、図6で、素片2の504の位置と、/k/の開
始位置との中間)を後端と見なし、時間長の制御用の情
報とすることもできる。
り求まった最短経路によって音声素片の長さを決定する
ために、前の音声素片の終端が対応する次の音声素片の
位置を前の素片の終端と見なし、時間長の制御用の情報
とする(図6により後述する)。あるいは、前の音声素
片の終端が対応する次の音声素片の位置と、後ろの音声
素片の始端に基づいて求められる次の音声素片の位置
(例えば、図6で、素片2の504の位置と、/k/の開
始位置との中間)を後端と見なし、時間長の制御用の情
報とすることもできる。
【0025】ステップ505では、以上の処理で得られ
た接続位置、始端、終端を用いて音声素片を接続し、接
続された音声素片を用いて合成音声波形を作成する。す
なわち、接続された音声素片は韻律情報に基づいて伸縮
処理が施され、合成音声波形が作成される。
た接続位置、始端、終端を用いて音声素片を接続し、接
続された音声素片を用いて合成音声波形を作成する。す
なわち、接続された音声素片は韻律情報に基づいて伸縮
処理が施され、合成音声波形が作成される。
【0026】図6は、本実施形態による音声素片の接続
の概念を説明する図である。各音声素片には予め音声素
片境界の情報が与えられている。また、音声素片は、こ
の例では、前後の音素の情報(triphone)をもとに選択さ
れる。ここでは、/*aki*/を合成したいとする。a,k,i
は音素を表す。また、*は音素のどれかで特定していな
い。まず、(*)a(k)、(a)k(i)、(k)i(*)の3つ音声素片
を選択素片501とし、境界付近の音声素片とともに選
択する。()内は隣接音素を表し、真中の音素が当該音
声素片の当該音素を表す。
の概念を説明する図である。各音声素片には予め音声素
片境界の情報が与えられている。また、音声素片は、こ
の例では、前後の音素の情報(triphone)をもとに選択さ
れる。ここでは、/*aki*/を合成したいとする。a,k,i
は音素を表す。また、*は音素のどれかで特定していな
い。まず、(*)a(k)、(a)k(i)、(k)i(*)の3つ音声素片
を選択素片501とし、境界付近の音声素片とともに選
択する。()内は隣接音素を表し、真中の音素が当該音
声素片の当該音素を表す。
【0027】次に、これら3つの音声素片の接続を説明
する。なお、*とaはすでに接続されているとする。ま
ず、音素「a」と「k」を接続する場合、(*)a(k)の音
声素片と(a)k(i)の音声素片のaとkの境界付近でDP
マッチングを行う。境界付近とは例えば音素境界から数
msとしても良いし、また音素「a」の中心から音素
「k」の中心まででも構わない(図6では後者を採用し
ている)。また、DPマッチングの端点は固定でも、フ
リーでも構わない。
する。なお、*とaはすでに接続されているとする。ま
ず、音素「a」と「k」を接続する場合、(*)a(k)の音
声素片と(a)k(i)の音声素片のaとkの境界付近でDP
マッチングを行う。境界付近とは例えば音素境界から数
msとしても良いし、また音素「a」の中心から音素
「k」の中心まででも構わない(図6では後者を採用し
ている)。また、DPマッチングの端点は固定でも、フ
リーでも構わない。
【0028】次に、DPマッチングで求まった最短経路
上の最小距離を探し、その音声素片間の対応位置を求め
る。これらの位置を接続位置とし、合成時には音声素片
が接続される位置となる。図6では、参照番号503で
示してある。
上の最小距離を探し、その音声素片間の対応位置を求め
る。これらの位置を接続位置とし、合成時には音声素片
が接続される位置となる。図6では、参照番号503で
示してある。
【0029】さらに、次の音声素片(素片2)上におけ
る、音素「a」(素片1)の終端に対応する位置を探
し、これを音素aの終端位置に決定する。この結果、音
素「a」は素片1と素片2を含んで構成されることにな
る。(a)k(i),(k)i(*)の2つの音声素片も同様にして接
続し、この結果、音素「k」は素片2と素片3を含んで
構成される。
る、音素「a」(素片1)の終端に対応する位置を探
し、これを音素aの終端位置に決定する。この結果、音
素「a」は素片1と素片2を含んで構成されることにな
る。(a)k(i),(k)i(*)の2つの音声素片も同様にして接
続し、この結果、音素「k」は素片2と素片3を含んで
構成される。
【0030】以上のような方法によれば、接続歪みが最
小となる位置で音声素片が接続されることになる。最後
に、接続された音声素片を韻律情報をもとに伸縮し、合
成音声波形を作成する。なお、DPマッチングの分析方
法としては、一般的な10ms単位でシフトしながらの
分析や、適当な同期点をもとに分析する手法があげられ
る。適当な同期点をもとに分析する場合は、全音声区間
を固定窓シフトで行う、あるいは有声区間の分析をピッ
チに同期して分析し、無声区間を固定窓シフトで分析す
るといった方法があげられる。このようなピッチ同期分
析では、声帯振動に同期して分析が行われることにな
る。
小となる位置で音声素片が接続されることになる。最後
に、接続された音声素片を韻律情報をもとに伸縮し、合
成音声波形を作成する。なお、DPマッチングの分析方
法としては、一般的な10ms単位でシフトしながらの
分析や、適当な同期点をもとに分析する手法があげられ
る。適当な同期点をもとに分析する場合は、全音声区間
を固定窓シフトで行う、あるいは有声区間の分析をピッ
チに同期して分析し、無声区間を固定窓シフトで分析す
るといった方法があげられる。このようなピッチ同期分
析では、声帯振動に同期して分析が行われることにな
る。
【0031】図7は、本実施形態によるDPマッチング
を説明する図である。図6でも説明したように境界付近
の音声素片間でDPマッチングが行われる。このDPマ
ッチングは、図7に示されるようなDP平面上で計算さ
れる。DPパスは、Aに示すような対象型の単純なもの
でも構わないし、その他のパスでも構わない。DPの始
端と終端がフリーな場合には、DP平面上の左下角と右
上角の黒い太線のいずれの部分がDPの開始点および終
了点となるように初期設定および終端処理をしたDP
(両端点フリーDP)を用いる。なお、両端点固定DP
の場合は、それらの角(左下角と右上角)を始終端とし
てDPを行う。本図の経路は両端点フリーDPの結果と
なっている。
を説明する図である。図6でも説明したように境界付近
の音声素片間でDPマッチングが行われる。このDPマ
ッチングは、図7に示されるようなDP平面上で計算さ
れる。DPパスは、Aに示すような対象型の単純なもの
でも構わないし、その他のパスでも構わない。DPの始
端と終端がフリーな場合には、DP平面上の左下角と右
上角の黒い太線のいずれの部分がDPの開始点および終
了点となるように初期設定および終端処理をしたDP
(両端点フリーDP)を用いる。なお、両端点固定DP
の場合は、それらの角(左下角と右上角)を始終端とし
てDPを行う。本図の経路は両端点フリーDPの結果と
なっている。
【0032】図8は、本実施形態によるDPマッチング
の距離計算を高速に行うための方法を説明するための図
である。音声素片には、その音声の特徴を表す量子点が
予め割り当てられている。図8ではこの量子点を○で表
わす。音声の特徴とは、音響分析され、量子化されたも
のである。この音響分析パラメータにはspectrumやceps
trumなどを用い、分析の同期点は、固定シフトでもかま
わないし、ピッチ同期の分析が可能であればそのように
分析しても構わない。さらにcepstrumのような静的な特
徴に加え、Δcepstrumのような動的な特徴も用いること
が可能である。ここで用いる量子点は複数の特徴を1つ
の量子点セットで表すようにしても構わないし、特徴ご
とに複数の量子点セット(セパレートコードブック)で
表しても構わない。本例では、○一つを1量子点として
説明する。
の距離計算を高速に行うための方法を説明するための図
である。音声素片には、その音声の特徴を表す量子点が
予め割り当てられている。図8ではこの量子点を○で表
わす。音声の特徴とは、音響分析され、量子化されたも
のである。この音響分析パラメータにはspectrumやceps
trumなどを用い、分析の同期点は、固定シフトでもかま
わないし、ピッチ同期の分析が可能であればそのように
分析しても構わない。さらにcepstrumのような静的な特
徴に加え、Δcepstrumのような動的な特徴も用いること
が可能である。ここで用いる量子点は複数の特徴を1つ
の量子点セットで表すようにしても構わないし、特徴ご
とに複数の量子点セット(セパレートコードブック)で
表しても構わない。本例では、○一つを1量子点として
説明する。
【0033】この量子点は事前に、全ての量子点間にお
いて、その距離を予め計算しておき、(b)の如き距離
テーブルを作成しておく。したがって、DPの距離計算
の際には、距離テーブルを参照するだけで高速に距離が
求まる。なお、図8の(b)で示される距離テーブルに
おいて、左下角から右上角にのびる直線上では、同じ量
始点の距離が格納されるので、ゼロが格納されることに
なる。上述したDPパスの計算や、最小距離の検出にお
いては、この距離テーブルを参照することにより、処理
の高速化が達成される。
いて、その距離を予め計算しておき、(b)の如き距離
テーブルを作成しておく。したがって、DPの距離計算
の際には、距離テーブルを参照するだけで高速に距離が
求まる。なお、図8の(b)で示される距離テーブルに
おいて、左下角から右上角にのびる直線上では、同じ量
始点の距離が格納されるので、ゼロが格納されることに
なる。上述したDPパスの計算や、最小距離の検出にお
いては、この距離テーブルを参照することにより、処理
の高速化が達成される。
【0034】図9は、本実施形態による音素素片の保持
方法を説明する図である。本実施形態の音声素変の保持
では、大きくは、検索するためのインデックスと音声素
片とに分けて保持される。検索するためのインデックス
は、音素環境のキー(音素の連鎖記号:本例では音素の
三つ組:triphone、中心の音素が当該音素を表す)とそ
のキーで引かれる音声素片の候補の音声素片のアドレス
からなる。すなわち、本実施形態では、音声素片検索は
triphoneで実現される。
方法を説明する図である。本実施形態の音声素変の保持
では、大きくは、検索するためのインデックスと音声素
片とに分けて保持される。検索するためのインデックス
は、音素環境のキー(音素の連鎖記号:本例では音素の
三つ組:triphone、中心の音素が当該音素を表す)とそ
のキーで引かれる音声素片の候補の音声素片のアドレス
からなる。すなわち、本実施形態では、音声素片検索は
triphoneで実現される。
【0035】例えば、合成音声/yama/(山/やま)を作
成しようとした場合、「-.y.a」,「y.a.m」,「a.m.
a」,「m.a.-」という検索キーを用いて音声素片を検索
する。キーに対応して複数の音声素片が存在する場合に
は、韻律情報やスペクトル情報などを用いて、最終的に
は1つの音声素片を選択する。選択は事前にできるもの
はその場で行う。また、事前に選択できない場合には、
それら候補に関して接続し、その結果を比較した上で最
終的に1つの素片を選択するようにしても良い。
成しようとした場合、「-.y.a」,「y.a.m」,「a.m.
a」,「m.a.-」という検索キーを用いて音声素片を検索
する。キーに対応して複数の音声素片が存在する場合に
は、韻律情報やスペクトル情報などを用いて、最終的に
は1つの音声素片を選択する。選択は事前にできるもの
はその場で行う。また、事前に選択できない場合には、
それら候補に関して接続し、その結果を比較した上で最
終的に1つの素片を選択するようにしても良い。
【0036】あるキーに対して仮に1つに音声素片が決
定したとすると、そのアドレスを用いて、連続された音
声として登録されている音声素片から所望の音声素片を
その前後の情報(DPマッチングに用いる境界付近の情
報)も含めて選択する。本例では、一発声ごとの音声を
連続した単位として登録し、また、図の○で表されてい
る音声素片が量子点とともに登録されている。もちろ
ん、DPに用いる境界付近の情報を含めて、音声素片を
発声とは無関係に個別に登録しても構わないのである
が、共通する部分が多くなり、登録音声素片の記憶容量
が本例の場合よりは大きくなる。音声素片波形編集合成
方式で合成する場合には、音声素片は波形で登録し、一
方、パラメータ合成方式では、音声素片はパラメータで
登録する。量子点を求める分析は、静的特徴量や動的特
徴量を用いることができ、複数の量子点で表しても、一
つの量子点で表しても構わず、また、分析も固定シフト
の分析でも、ピッチ同期の分析でも構わない。
定したとすると、そのアドレスを用いて、連続された音
声として登録されている音声素片から所望の音声素片を
その前後の情報(DPマッチングに用いる境界付近の情
報)も含めて選択する。本例では、一発声ごとの音声を
連続した単位として登録し、また、図の○で表されてい
る音声素片が量子点とともに登録されている。もちろ
ん、DPに用いる境界付近の情報を含めて、音声素片を
発声とは無関係に個別に登録しても構わないのである
が、共通する部分が多くなり、登録音声素片の記憶容量
が本例の場合よりは大きくなる。音声素片波形編集合成
方式で合成する場合には、音声素片は波形で登録し、一
方、パラメータ合成方式では、音声素片はパラメータで
登録する。量子点を求める分析は、静的特徴量や動的特
徴量を用いることができ、複数の量子点で表しても、一
つの量子点で表しても構わず、また、分析も固定シフト
の分析でも、ピッチ同期の分析でも構わない。
【0037】なお、本実施形態では、音声素片を音素単
位で表しているがこれに限らない。例えば、音素でない
単位(例えば音節やCVC/VCV当、いかなる単位)
で音声素片を表しても一向に構わない。
位で表しているがこれに限らない。例えば、音素でない
単位(例えば音節やCVC/VCV当、いかなる単位)
で音声素片を表しても一向に構わない。
【0038】また、本実施形態では、DPマッチングは
主に両端点固定のもので説明したが、両端点フリーのD
Pマッチングでも構わない。
主に両端点固定のもので説明したが、両端点フリーのD
Pマッチングでも構わない。
【0039】また、本例のDPマッチングでは、図7の
Aに示すように、もっとも単純なパスを用いているが、
その他のDPパスを用いても構わない。また、さらなる
高速化のためにDP平面上で傾斜制限を設けても構わな
い。更に、DPマッチングによる距離計算の際、cepstr
um距離尺度やWLR距離尺度など、その他距離尺度を用
いても一向に構わない。
Aに示すように、もっとも単純なパスを用いているが、
その他のDPパスを用いても構わない。また、さらなる
高速化のためにDP平面上で傾斜制限を設けても構わな
い。更に、DPマッチングによる距離計算の際、cepstr
um距離尺度やWLR距離尺度など、その他距離尺度を用
いても一向に構わない。
【0040】また、本実施形態では、全音声素片を接続
してから合成波形を作成しているが、音声素片を接続し
ながら合成波形を作成しても一向に構わない。
してから合成波形を作成しているが、音声素片を接続し
ながら合成波形を作成しても一向に構わない。
【0041】また、本実施形態では、量子化方法が1コ
ードブックのもので図が表されているが、複数のセパレ
ートコードブックのものでも問題ない。その場合には距
離テーブルが複数個になり、また、その距離の間で、重
みを等しくしても重みを変えても、適当なものを選べ
ば、方式としては一向に問題がない。
ードブックのもので図が表されているが、複数のセパレ
ートコードブックのものでも問題ない。その場合には距
離テーブルが複数個になり、また、その距離の間で、重
みを等しくしても重みを変えても、適当なものを選べ
ば、方式としては一向に問題がない。
【0042】なお、本発明は、複数の機器(例えばホス
トコンピュータ,インタフェイス機器,リーダ,プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機,ファクシミリ装置
など)に適用してもよい。
トコンピュータ,インタフェイス機器,リーダ,プリン
タなど)から構成されるシステムに適用しても、一つの
機器からなる装置(例えば、複写機,ファクシミリ装置
など)に適用してもよい。
【0043】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0044】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0045】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
【0046】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0047】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0048】
【発明の効果】以上説明したように、本発明によれば、
2つの音声素変を接続する際に、最適な接続位置を検出
し、この検出された接続位置で当該2つの音声素変の接
続を行うことを可能とする音声合成装置及び方法を提供
することを目的とする。
2つの音声素変を接続する際に、最適な接続位置を検出
し、この検出された接続位置で当該2つの音声素変の接
続を行うことを可能とする音声合成装置及び方法を提供
することを目的とする。
【0049】また、本発明の他の目的は、最適な接続位
置の検出にDPマッチングを適用することにある。
置の検出にDPマッチングを適用することにある。
【0050】また、本発明の他の目的は、最適な接続位
置検出におけるDPマッチングを高速に行えるようにす
ることにある。
置検出におけるDPマッチングを高速に行えるようにす
ることにある。
【0051】
【図1】一般的な音声合成処理における音声素変の接続
を説明する図である。
を説明する図である。
【図2】本実施形態による音声合成装置のハードウェア
の構成を示すブロック図である。
の構成を示すブロック図である。
【図3】本実施形態による規則合成システムのモジュー
ル構成を示すブロック図である。
ル構成を示すブロック図である。
【図4】図3で示したブロック図に対応する規則合成シ
ステムの処理の流れを示す図である。
ステムの処理の流れを示す図である。
【図5】図4で示したステップ404(音声素片選択)
とステップ405(音声素片接続)の詳細な処理手順を
説明する図である。
とステップ405(音声素片接続)の詳細な処理手順を
説明する図である。
【図6】本実施形態による音声素片の接続の概念を説明
する図である。
する図である。
【図7】本実施形態によるDPマッチングを説明する図
である。
である。
【図8】本実施形態によるDPマッチングの距離計算を
高速に行うための方法を説明するための図である。
高速に行うための方法を説明するための図である。
【図9】本実施形態による音素素片の保持方法を説明す
る図である。
る図である。
Claims (16)
- 【請求項1】 音声合成すべき情報に基づいて接続すべ
き音声素片を選択する選択手段と、 前記選択手段で選択された接続すべき音声素片の境界付
近において、両音声素片間の対応を動的計画法を用いて
決定する決定手段と、 前記決定手段で決定された両音声素片間の対応に基づい
て該両音声素片を接続する接続手段と、 前記接続手段で接続された音声素片に基づいて合成音声
を生成する生成手段とを備えることを特徴とする音声合
成装置。 - 【請求項2】 前記接続手段は、前記決定手段で決定さ
れた両音声素片間の対応から、最も距離が小さい対応位
置を検出し、検出された対応位置で該両音声素片を接続
することを特徴とする請求項1に記載の音声合成装置。 - 【請求項3】 音声素片を保持する音声素片保持手段
と、 テキスト列を入力する入力手段と、 入力されたテキスト列を解析する言語解析手段と、 言語解析結果をもとに韻律生成規則保持部の情報を用い
韻律情報を生成する韻律情報生成手段とを更に備え、 前記選択手段は、前記言語解析結果と前記韻律情報とを
用いて前記音声素片保持部に登録されている音声素片か
ら音声合成に使用すべき音声素片を選択することを特徴
とする請求項1に記載の音声合成装置。 - 【請求項4】 前記音声素片保持手段に登録された音声
素片が、合成単位である音素に対応する部分と、その両
端の境界付近の情報を含み、 前記決定手段は、接続すべき音声素片の前記境界付近と
音素の一部の情報について動的計画法を適用し、両音声
素片の前記境界付近の対応を決定することを特徴とする
請求項3に記載の音声合成装置。 - 【請求項5】 前記音声素片保持手段に登録された音声
素片が、合成単位である音素に対応する部分と、その両
端の情報が連続して得られる部分を含んで登録されてい
ることを特徴とする請求項3に記載の音声合成装置。 - 【請求項6】 前記選択手段は、合成すべき音素とその
両側の音響情報を用いて前記音声素片保持手段より音声
素片を選択することを特徴とする請求項3に記載の音声
合成装置。 - 【請求項7】 前記決定手段において用いられる動的計
画法は、端点を固定にする端点固定DPマッチングであ
ることを特徴とする請求項1に記載の音声合成装置。 - 【請求項8】 前記決定手段において用いられる動的計
画法は、両端点を固定しない両端点フリーDPマッチン
グであることを特徴とする請求項1に記載の音声合成装
置。 - 【請求項9】 前記音声素片保持手段は、音声情報を有
限個に量子化した一つあるいは複数の量子点集合を用い
て、各音声素片を量子点で表して保持するとともに、こ
れら量子点集合内のあらゆる量子点間の距離が予め計算
された距離テーブルを保持し、 前記決定手段は、動的計画法による音声素片間の距離計
算に際して、前記距離テーブルを参照することを特徴と
する請求項3に記載の音声合成装置。 - 【請求項10】 前記決定手段は、動的計画法により2
つの音声素片の接続境界付近におけるDPパスを決定
し、 前記接続手段は、前記DPパスの経路上で、最も距離が
小さい位置で2つの音声素片を接続することを特徴とす
る請求項1に記載の音声合成装置。 - 【請求項11】 前記決定手段で決定されたDPパスに
基づいて後ろにくる音声素片上における前にくる音声素
片の終端に対応する位置を区切り位置として獲得する獲
得手段と、 前記合成手段は、前記接続手段で接続された音声素片
と、前記獲得手段で獲得された区切り位置を用いて音声
合成処理を行うことを特徴とする請求項10に記載の音
声合成装置。 - 【請求項12】 前記獲得手段は、前にくる音声素片の
終端に対応する位置と後ろの音声素片の始端の位置の2
つの位置から求まる位置を区切り位置として獲得するこ
とを特徴とする請求項11に記載の音声合成装置。 - 【請求項13】 前記決定手段において動的計画法を用
いる際、所定の同期点をもとに分析することを特徴とす
る音声合成装置。 - 【請求項14】 請求項1記載の音声合成方式におい
て、 波形素片編集方式を用いることを特徴とする音声合成装
置。 - 【請求項15】 音声素片を接続して音声合成を行う音
声合成方法であって、 音声合成すべき情報に基づいて接続すべき音声素片を選
択する選択工程と、 前記選択工程で選択された接続すべき音声素片の境界付
近において、両音声素片間の対応を動的計画法を用いて
決定する決定工程と、 前記決定工程で決定された両音声素片間の対応に基づい
て該両音声素片を接続する接続工程と、 前記接続工程で接続された音声素片に基づいて合成音声
を生成する生成工程とを備えることを特徴とする音声合
成方法。 - 【請求項16】 音声素片を接続して音声合成を行う音
声合成処理のための制御プログラムを格納する記憶媒体
であって、該制御プログラムが、 音声合成すべき情報に基づいて接続すべき音声素片を選
択する選択工程のコードと、 前記選択工程で選択された接続すべき音声素片の境界付
近において、両音声素片間の対応を動的計画法を用いて
決定する決定工程のコードと、 前記決定工程で決定された両音声素片間の対応に基づい
て該両音声素片を接続する接続工程のコードと、 前記接続工程で接続された音声素片に基づいて合成音声
を生成する生成工程のコードとを備えることを特徴とす
る記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10057251A JPH11259091A (ja) | 1998-03-09 | 1998-03-09 | 音声合成装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10057251A JPH11259091A (ja) | 1998-03-09 | 1998-03-09 | 音声合成装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11259091A true JPH11259091A (ja) | 1999-09-24 |
Family
ID=13050323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10057251A Withdrawn JPH11259091A (ja) | 1998-03-09 | 1998-03-09 | 音声合成装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11259091A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004139033A (ja) * | 2002-09-25 | 2004-05-13 | Nippon Hoso Kyokai <Nhk> | 音声合成方法、音声合成装置および音声合成プログラム |
| JP2008191334A (ja) * | 2007-02-02 | 2008-08-21 | Oki Electric Ind Co Ltd | 音声合成方法、音声合成プログラム、音声合成装置、音声合成システム |
-
1998
- 1998-03-09 JP JP10057251A patent/JPH11259091A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004139033A (ja) * | 2002-09-25 | 2004-05-13 | Nippon Hoso Kyokai <Nhk> | 音声合成方法、音声合成装置および音声合成プログラム |
| JP2008191334A (ja) * | 2007-02-02 | 2008-08-21 | Oki Electric Ind Co Ltd | 音声合成方法、音声合成プログラム、音声合成装置、音声合成システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4130190B2 (ja) | 音声合成システム | |
| JP4328698B2 (ja) | 素片セット作成方法および装置 | |
| US6778962B1 (en) | Speech synthesis with prosodic model data and accent type | |
| US8015011B2 (en) | Generating objectively evaluated sufficiently natural synthetic speech from text by using selective paraphrases | |
| CN106920547B (zh) | 语音转换方法和装置 | |
| JP4632384B2 (ja) | 音声情報処理装置及びその方法と記憶媒体 | |
| US8626510B2 (en) | Speech synthesizing device, computer program product, and method | |
| US6212501B1 (en) | Speech synthesis apparatus and method | |
| CN105609097A (zh) | 语音合成装置及其控制方法 | |
| JP3884856B2 (ja) | 音声合成用データ作成装置、音声合成装置及びそれらの方法、コンピュータ可読メモリ | |
| JP4516863B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP3450237B2 (ja) | 音声合成装置および方法 | |
| JP3728173B2 (ja) | 音声合成方法、装置および記憶媒体 | |
| JP4287785B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP4247289B1 (ja) | 音声合成装置、音声合成方法およびそのプログラム | |
| JP4639932B2 (ja) | 音声合成装置 | |
| JPH11259091A (ja) | 音声合成装置及び方法 | |
| JP3371761B2 (ja) | 氏名読み音声合成装置 | |
| JP2007086309A (ja) | 音声合成装置、音声合成方法および音声合成プログラム | |
| JP4648878B2 (ja) | 様式指定型音声合成方法、及び様式指定型音声合成装置とそのプログラムと、その記憶媒体 | |
| JP4167084B2 (ja) | 音声合成方法及び装置、並びに音声合成プログラム | |
| JP2005018036A (ja) | 音声合成装置、音声合成方法及びプログラム | |
| JP4640063B2 (ja) | 音声合成方法,音声合成装置,およびコンピュータプログラム | |
| JPH10247097A (ja) | 自然発話音声波形信号接続型音声合成装置 | |
| JP3414326B2 (ja) | 音声合成用辞書登録装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050510 |