JP3966074B2

JP3966074B2 - ピッチ変換装置、ピッチ変換方法及びプログラム

Info

Publication number: JP3966074B2
Application number: JP2002152787A
Authority: JP
Inventors: 裕司久湊
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-05-27
Filing date: 2002-05-27
Publication date: 2007-08-29
Anticipated expiration: 2022-05-27
Also published as: JP2003345400A

Description

【０００１】
【発明の属する技術分野】
この発明は、歌唱合成に用いるに好適なピッチ変換装置、ピッチ変換方法及びプログラムに関するものである。
【０００２】
【従来の技術】
従来、音声合成装置としては、合成音声のピッチにゆらぎを付与するようにしたものが知られている（例えば、特開平９−２８１９９４号公報参照）。
【０００３】
この従来技術では、ディジタル音声波形データをアナログ音声信号に変換するＤ／Ａ変換器に供給するクロック信号として、格納部から読出したクロック間隔ゆらぎデータに応じてクロック周期にゆらぎをもたせたクロック信号を用いることによりＤ／Ａ変換出力（アナログ音声信号）のピッチにゆらぎを付与している。
【０００４】
【発明が解決しようとする課題】
人間がある音符に対応する音声を発生するとき、物理的に一定の高さ（ピッチ）で発生するのは歌唱を職業とする人でも困難であり、一般的に発声ピッチは音符ピッチから多少ずれ、加えて経時的なピッチ変動も生ずる。特に、歌唱を職業としない一般の人が歌唱した場合には、上記のようなピッチずれやピッチ変動の傾向が強く、歌唱の上手さ（又は下手さ）を評価するための１つの要素となる。また、ピッチのずれ方に歌唱者の特徴が見られる場合もある。その上、人が発声できる上限又は下限に近いピッチの音を発生しようとすると、声の発生機構に物理的な負担がかかるため、発生したいピッチと、実際に発声したピッチとが異なる（上限近くの高音ではピッチが下がり易く、下限近くの低音ではピッチが上がり易い）という現象がある。
【０００５】
上記した従来技術によれば、クロック間隔ゆらぎデータの値をピッチ上昇方向又はピッチ下降方向に変化させることによりピッチ変動の方向及び量を変化させることができるが、平均ピッチで見た場合にピッチ変動を加える前のピッチ（基準ピッチ）を変化させることはできず、ピッチ変動の時間的なパターンを変化させることもできない。換言すれば、上記したような歌唱者の発声ピッチや経時的なピッチ変動を再現することはできない。
【０００６】
この発明の目的は、歌唱合成の際に歌唱者の発声ピッチや経時的なピッチ変動を再現することができる新規なピッチ変換装置、ピッチ変換方法及びプログラムを提供することにある。
【０００７】
【課題を解決するための手段】
この発明に係る第１のピッチ変換装置は、ピッチデータの示すピッチを有する歌唱音声信号を合成する歌唱合成手段を備えた歌唱合成装置において使用されるピッチ変換装置であって、合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、前記入力手段から入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すデータを前記ピッチデータとして前記歌唱合成手段に供給する変換手段とを備えたものである。
【０００８】
第１のピッチ変換装置によれば、複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数が記憶手段に記憶され、このピッチ変換関数に基づいて入力に係る各ピッチが歌唱音声合成用の音声ピッチに変換される。ピッチ変換関数において、複数の音声ピッチとして歌唱者の複数の発声ピッチをそれぞれ用いると、合成歌唱音声において歌唱者の発声ピッチやピッチ特徴を再現することができ、例えば発声可能な上限ピッチの近くではピッチを若干低くすると共に発声可能な下限ピッチの近くではピッチを若干高くすることができる。
【０００９】
第１のピッチ変換装置において、前記入力手段は、歌唱者を示す歌唱者データを入力し、前記記憶手段は、前記ピッチ変換関数を歌唱者毎に記憶し、前記変換手段は、前記歌唱者データの示す歌唱者に対応するピッチ変換関数に基づいてピッチ変換を行なうようにしてもよい。このようにすると、歌唱者毎に発声ピッチやピッチ特徴を再現することができる。
【００１０】
第１のピッチ変換装置においては、ピッチ変換の際に入力ピッチに依存する乱数的な（ランダムな）ピッチ変動を音声ピッチに付与するようにしてもよい。このようにすると、合成歌唱音声に一層自然なピッチ変化を付与することができる。また、ピッチ変換の際に歌唱者の実際の音声に含まれる経時的なピッチ変動を音声ピッチに付与するようにしてもよい。このようにすると、歌唱者の経時的に不安定なピッチ変動を再現することができる。
【００１４】
この発明に係る第１のピッチ変換方法は、複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、ピッチデータの示すピッチを有する歌唱音声信号を合成する歌唱合成手段とを備えた歌唱合成装置において使用されるピッチ変換方法であって、合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力するステップと、このステップで入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すデータを前記ピッチデータとして前記歌唱合成手段に供給するステップとを含むものである。
【００１５】
第１のピッチ変換方法によれば、第１のピッチ変換装置に関して前述したと同様にピッチ変換を行なうことができる。
【００１８】
この発明に係る第１のプログラムは、コンピュータと、ピッチデータの示すピッチを有する歌唱音声信号を合成する歌唱合成手段とを備えた歌唱合成装置において使用されるプログラムであって、前記コンピュータを、合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、前記入力手段から入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すデータを前記ピッチデータとして前記歌唱合成手段に供給する変換手段として機能させるものである。
【００１９】
この発明に係る第２のプログラムは、コンピュータを備えた歌唱合成装置において使用されるプログラムであって、前記コンピュータを、合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、前記入力手段から入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すピッチデータを送出する変換手段と、この変換手段から送出されるピッチデータの示す音声ピッチを有する歌唱音声信号を合成する歌唱合成手段として機能させるものである。
【００２０】
第１又は第２のプログラムによれば、第１のピッチ変換装置に関して前述したと同様にピッチ変換を行なうことができる。
【００２１】
この発明に係る第３のプログラムは、コンピュータと、ピッチデータの示すピッチを有する歌唱音声信号を合成する歌唱合成手段とを備えた歌唱合成装置において使用されるプログラムであって、前記コンピュータを、
合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、
複数の入力ピッチのうちの各入力ピッチ毎に該入力ピッチに対する音声ピッチの経時的変動分を示すピッチ差分データを記憶する記憶手段と、
前記入力手段から入力されるピッチ毎に該ピッチに対応するピッチ差分データを前記記憶手段から読出すと共に入力に係るピッチに対して読出しに係るピッチ差分データの示す音声ピッチの経時的変動分を加算してピッチ変換を行ない、このピッチ変換後のピッチを示すデータを前記ピッチデータとして前記歌唱合成手段に供給する変換手段として機能させるものである。
【００２２】
この発明に係る第４のプログラムは、コンピュータを備えた歌唱合成装置において使用されるプログラムであって、前記コンピュータを、
合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、
複数の入力ピッチのうちの各入力ピッチ毎に該入力ピッチに対する音声ピッチの経時的変動分を示すピッチ差分データを記憶する記憶手段と、
前記入力手段から入力されるピッチ毎に該ピッチに対応するピッチ差分データを前記記憶手段から読出すと共に入力に係るピッチに対して読出しに係るピッチ差分データの示す音声ピッチの経時的変動分を加算してピッチ変換を行ない、このピッチ変換後のピッチを示すピッチデータを送出する変換手段と、
この変換手段から送出されるピッチデータの示す音声ピッチを有する歌唱音声信号を合成する歌唱合成手段と
して機能させるものである。
【００２３】
第３又は第４のプログラムによれば、第２のピッチ変換装置に関して前述したと同様にピッチ変換を行なうことができる。
【００２４】
【発明の実施の形態】
図１は、この発明の一実施形態に係る歌唱合成装置を示すものである。
【００２５】
図１の歌唱合成装置は、入力部１０、ピッチ変換装置１２及び歌唱合成器１８を含むもので、ピッチ変換装置１２は、ピッチ変換器１４及びデータベース１６を備えている。
【００２６】
入力部１０は、歌唱者を示す歌唱者データ、音声素片（単一の音素［音韻］又は音素連鎖）を示す音声素片データ、音符のピッチ及び長さを示す音符データ、合成音声の音強度を示す音強度データ等を入力するもので、入力に係る音符ピッチＰｉを示す音符ピッチデータ及び入力に係る歌唱者Ｓを示す歌唱者データは、ピッチ変換器１４に供給される。
【００２７】
データベース１６には、複数の入力ピッチ（音符ピッチ）をそれぞれ複数の音声ピッチ（出力ピッチ）に変換するためのピッチ変換データがピッチ変換関数［ＦＴ（Ｓ，ｐ）］又はピッチ変換表の形で歌唱者毎に記憶されている。
【００２８】
図２には、歌唱者Ｓ１，Ｓ２，Ｓ３にそれぞれ対応する３つのピッチ変換関数ＦＴ（Ｓ１，ｐ），ＦＴ（Ｓ２，ｐ），ＦＴ（Ｓ３，ｐ）をデータベース１６に記憶した例を示す。ここで、ｐは、入力ピッチを表わす。
【００２９】
図２に示すピッチ変換装置１２において、ピッチ変換器１４は、入力部１０からの歌唱者データの示す歌唱者Ｓに対応するピッチ変換関数をデータベース１６にて参照すると共に、入力部１０からの音符ピッチデータの示す音符ピッチＰｉに対応する音声ピッチＰｏを参照に係るピッチ変換関数に基づいて算出する。そして、算出された音声ピッチＰｏを示すピッチデータを歌唱合成器１８に出力する。
【００３０】
データベース１６がピッチ変換データをピッチ変換表の形で記憶している場合、ピッチ変換器１４は、入力部１０からの歌唱者Ｓに対応するピッチ変換表を参照すると共に、入力部１０からの音符ピッチデータの示す音符ピッチＰｉに対応する音声ピッチＰｏを参照に係るピッチ変換表から読出す。そして、読出された音声ピッチＰｏを示すピッチデータを歌唱合成器１８に供給する。
【００３１】
歌唱合成器１８は、入力部１０からの歌唱者データ、音声素片データ、音符長データ及び音強度データと、ピッチ変換器１４からのピッチデータとに基づいて歌唱音声信号を合成するものである。歌唱合成方式としては、種々のものが公知であり、そのうちから適切なものを選択して歌唱合成器１８を構成することができる。
【００３２】
歌唱合成器１８では、一例として、歌唱者データの示す歌唱者と、音声素片データの示す音声素片とに対応した音声成分データを用いて歌唱音声信号を合成する。このとき、歌唱音声信号のピッチ、音長及び音強度は、それぞれピッチデータ、音符長データ及び音強度データに応じて決定される。
【００３３】
図３は、ピッチ変換関数の一例を示すものである。図３において、横軸の入力ピッチ［cent］は、ピッチ変換器１４に入力される音符ピッチに相当し、縦軸の出力ピッチ［cent］は、ピッチ変換器１４から出力される音声ピッチに相当する。
【００３４】
図３に示すピッチ変換関数ＦＴ（Ｓ，ｐ）は、所定の下限ピッチＰＬと所定の上限ピッチＰＨとの間では出力ピッチが入力ピッチと等しいが、入力ピッチが上限ピッチＰＨより高いときは人の発声可能な上限ピッチに近づくにつれて徐々に出力ピッチが入力ピッチより低くなると共に、入力ピッチが下限ピッチＰＬより低いときは人の発声可能な下限ピッチに近づくにつれて徐々に出力ピッチが入力ピッチより高くなるような形状になっている。このような形状を数式的に表現すると、次の数１に示す通りである。
【００３５】
【数１】
ＦＴ（Ｓ，ｐ）＞ｐ if ｐ＜ＰＬ
ＦＴ（Ｓ，ｐ）＝ｐ if ＰＬ≦ｐ≦ＰＨ
ＦＴ（Ｓ，ｐ）＜ｐ if ＰＨ＜ｐ
具体例としては、ＰＨ＜ｐの領域では出力ピッチが入力ピッチより最大で数１０セント程度低くなると共にｐ＜ＰＬの領域では出力ピッチが入力ピッチより最大で数１０セント程度高くなるようなピッチ変換関数を用いることができる。
【００３６】
図３に示したようなピッチ変換関数は、歌唱者毎に適切な形状のものが用意され、図２に関して前述したように歌唱者毎にデータベース１６に記憶される。ピッチ変換器１４は、入力に係る歌唱者Ｓに対応するピッチ変換関数を参照して入力ピッチＰｉを出力ピッチＰｏに変換する。このようなピッチ変換を数式的に表現すると、次の数２の通りである。
【００３７】
【数２】
Ｐｏ＝ＦＴ（Ｓ，Ｐｉ）
図４は、図３のピッチ変換関数を用いたピッチ変換の一例を示すもので、（Ａ）は、変換前のピッチ変化（入力ピッチの変化）を示し、（Ｂ）は、変換後のピッチ変化（出力ピッチの変化）を示す。図４（Ａ）において、順次の入力ピッチは、合成すべき順次の歌唱音声にそれぞれ対応するものである。図４によれば、ＰＬより低音域では、出力ピッチが入力ピッチより高くなると共にＰＨより高音域では出力ピッチが入力ピッチより低くなり、ＰＬ以上でＰＨ以下の中音域では出力ピッチが入力ピッチに等しくなっているのがわかる。図４の例では、入力ピッチを離散的に与えたが、そうである必要はなく、連続的に与えても構わない。
【００３８】
図３に示したピッチ変換関数は、直線に近似したものであるが、歌唱者やピッチに依存する乱数的な（ランダムな）ピッチ変動分ｒａｎｄ（Ｓ，ｐ）を加えた次の数３の式に示すようなピッチ変換関数を用いてもよい。
【００３９】
【数３】
ＦＴ（Ｓ，ｐ）＋ｒａｎｄ（Ｓ，ｐ）
このようなピッチ変換関数を用いると、ピッチ変換の際に図４（Ａ）に示すような順次の入力ピッチにそれぞれ応答して順次の出力ピッチにランダムなピッチ変化が加わるようになり、合成音声に一層自然な変化を付与することができる。
【００４０】
上記した実施形態において、データベース１６には、時間に依存しないピッチ変換関数ＦＴ（Ｓ，ｐ）を記憶する例を示したが、データベース１６には、時間に依存するピッチ変換関数を記憶し、このピッチ変換関数を参照してピッチ変換を行なうようにしてもよい。一例としてデータベース１６には、ピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）を示すピッチ差分データをピッチ変換データとして歌唱者毎に記憶する。ピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）は、歌唱者Ｓが音符ピッチｐに対応する音声を発生したときに時間ｔの進行に従って音符ピッチｐに対する音声ピッチの差分を表わすものである。
【００４１】
データベース１６にピッチ差分データをピッチ変換関数ΔＦＴ（Ｓ，ｐ，ｔ）の形で歌唱者毎に記憶しておいた場合、ピッチ変換器１４は、入力に係る歌唱者Ｓに対応するピッチ変換関数ΔＦＴ（Ｓ，ｐ，ｔ）を参照して入力ピッチＰｉを出力ピッチＰｏに変換する。このようなピッチ変換を数式的に表現すると、次の数４に示す通りである。
【００４２】
【数４】
Ｐｏ＝Ｐｉ＋ΔＦＴ（Ｓ，Ｐｉ，ｔ）
この場合のピッチ変換は、入力ピッチＰｉに対して入力ピッチＰｉ対応のピッチ差分ΔＦＴ（Ｓ，Ｐｉ，ｔ）を加算することにより行なわれる。
【００４３】
データベース１６には、上記のようにピッチ変換関数ΔＦＴ（Ｓ，ｐ，ｔ）を記憶する代りに、ピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）の経時的な変化波形を表わすピッチ差分データを記憶するようにしてもよい。図５は、このようなピッチ差分データを歌唱者Ｓ_１…Ｓｎ（ｎは２以上の整数）のうちの各歌唱者毎にｐ１〜ｐ２５の２５ピッチ分記憶した例を示す。ピッチｐ１〜ｐ２５は、１００セント（半音）刻みで１２００〜３６００［ｃｅｎｔ］となっている。データベース１６にピッチ差分データを記憶すると、後述のピッチ波形データを記憶する場合に比べてデータ量が少なくて済む。
【００４４】
図５の例において、各ピッチ毎のピッチ差分データとしては、実際の歌唱に基づくものを用いるとよい。一例を示すと、歌唱者Ｓ_１にピッチｐ１に対応する音声を実際に発生させると共に、ピッチｐ１に対する発生音声のピッチの差分の経時的変化波形を求め、この変化波形を表わすピッチ差分データを用いる。このようにすると、歌唱者の特性を反映したピッチ変化を再現可能になると共に、より人間的な微細なピッチ変化を表現可能になる。
【００４５】
ピッチ変換器１４は、入力に係る歌唱者Ｓに対応するピッチ差分データのうち入力ピッチＰｉに対応するピッチ差分データを参照して前述の数４の式に従って入力ピッチＰｉを出力ピッチＰｏに変換する。図６は、図５のピッチ差分データを用いたピッチ変換の一例を示すもので、（Ａ）は、図４（Ａ）と同様に変換前のピッチ変化（入力ピッチの変化）を示し、（Ｂ）は、変換後のピッチ変化（出力ピッチの変化）を示す。図６によれば、人の発声可能な上限ピッチ又は下限ピッチの近傍では図４に関して前述したと同様に出力が入力ピッチよりそれぞれ低く又は高くなると共に、人の発声可能な上限ピッチ又は下限ピッチの近傍ではピッチの変動量（ゆらぎ量）が大きくなることがわかる。従って、人間的な発声ピッチやピッチ変動の再現が可能となる。
【００４６】
ピッチは、離散値ではなく連続値であるので、図５の例においてすべてのピッチに対応可能とするには全ピッチ分のピッチ差分データを記憶することになり、記憶するデータ量が膨大なものになってしまう。また、ピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）の変化が長く継続するピッチ差分データについても、記憶するデータ量が膨大なものになってしまう。このような記憶データ量の増大を回避するためには、次の（イ）又は（ロ）のような対策を適宜採用することができる。
【００４７】
（イ）複数の離散的なピッチについてそれぞれピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）を表わすピッチ差分データを記憶した場合において、入力ピッチとピッチが丁度一致するピッチ差分データを検出できないときは、入力ピッチとピッチが最も近いピッチ差分データを参照してピッチ変換を行なう。また、入力ピッチとピッチが近い２つのピッチ差分データから補間により新たなピッチ差分データを求めてピッチ変換を行なってもよい。
【００４８】
（ロ）ピッチ差分データとしては、ピッチ差分の変化継続時間が所定値以内のものを記憶しておき、入力ピッチの時間長がピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）の変化継続時間を越えたときは、ピッチ差分の変化波形において時間０等の適当な位置に戻って再びピッチ差分データを読出す。
【００４９】
図５の例において、データベース１６には、歌唱者毎に複数のピッチにそれぞれ対応してピッチ差分の変化波形を表わすピッチ差分データを記憶したが、歌唱者毎に複数のピッチにそれぞれ対応してピッチ変化波形を表わすピッチ波形データをピッチ変換データとして記憶するようにしてもよい。この場合、入力に係る歌唱者Ｓに対応する複数のピッチ波形データのうち入力ピッチＰｉに対応するピッチ波形データを読出して出力ピッチＰｏとすることによりピッチ変換を行なう。ピッチ波形データを実際の歌唱に基づいて作成すると、歌唱者の発声ピッチや経時的なピッチ変動を再現することができる。
【００５０】
上記したようなピッチ変換処理は、パーソナルコンピュータ等の小型コンピュータにおいてソフトウェア処理として実行するようにしてもよい。すなわち、ＲＯＭ又はＲＡＭ等の記憶手段にストアしたプログラムに従ってＣＰＵ（中央処理装置）にピッチ変換処理を実行させるようにしてもよい。
【００５１】
図７は、この発明の他の実施形態に係る歌唱合成装置を示すもので、この装置は、例えば特許第２９０６９７０号に示されるＳＭＳ（Spectral Modeling Synthesis）技術を用いて歌唱合成を行なうものである。
【００５２】
ステップＳ１では、歌唱音声信号を入力し、ステップＳ２では、入力された歌唱音声信号にＳＭＳ分析処理及び区間切出し処理を施す。
【００５３】
ＳＭＳ分析処理では、入力音声信号を一連の時間フレームに区分し、各フレーム毎にＦＦＴ（Fast Fourier Transform）等により１組の強度（マグニチュード）スペクトルデータを生成し、各フレーム毎に１組の強度スペクトルデータから複数のピークに対応する線スペクトルを抽出する。これらの線スペクトルの振幅値及び周波数を表わすデータを調和成分（Deterministic Component）のデータと称する。次に入力音声波形のスペクトルから調和成分のスペクトルを差引いて残差スペクトルを得る。この残差スペクトルを非調和成分（Stochastic Component）と称する。
【００５４】
区間切出し処理では、ＳＭＳ分析処理で得られた調和成分のデータ及び非調和成分のデータを音声素片に対応して区分する。音声素片とは、歌詞の構成要素であり、例えば［ａ］，［ｉ］のような単一の音素（又は音韻：Phoneme）又は例えば「ａｉ」，「ａｐ」のような音素連鎖（複数音素の連鎖）からなるものである。
【００５５】
データベース２０には、音声素片毎に調和成分のデータ及び非調和成分のデータが記憶される。また、データベース２０には、データベース１６に関して前述したと同様にピッチ変換データ（ピッチ差分データ又はピッチ波形データである場合も含む）が記憶されている。
【００５６】
歌唱合成に際しては、ステップＳ３で歌詞データ及びメロディデータを入力する。そして、ステップＳ４では、歌詞データが表わす音素列に音素列／音声素片変換処理を施して音素列を音声素片に区分し、音声素片毎にそれに対応する調和成分のデータ及び非調和成分のデータを音声素片データとしてデータベース２０から読出す。
【００５７】
ステップＳ５では、データベース２０から読出された音声素片データ（調和成分のデータ及び非調和成分のデータ）に音声素片接続処理を施して音声素片データ同士を発音順に接続する。
【００５８】
ステップＳ６では、ピッチ変換処理を行なう。すなわち，ステップＳ３で入力されたメロディデータの示す音符ピッチを前述したと同様にしてデータベース２０のピッチ変換データ（ピッチ差分データ又はピッチ波形データである場合も含む）に基づいて音声ピッチに変換し、該音声ピッチを示すピッチデータを生成する。
【００５９】
ステップ７では、音声素片毎に調和成分のデータとステップＳ６で生成されたピッチデータの示す音声ピッチとに基づいて該音声ピッチに適合した新たな調和成分のデータを生成する。このとき、新たな調和成分のデータでは、ステップＳ５の処理を受けた調和成分のデータが表わすスペクトル包絡の形状をそのまま引継ぐようにスペクトル強度を調整すると、ステップＳ１で入力した音声信号の音色を再現することができる。
【００６０】
ステップＳ８では、ステップＳ７で生成した調和成分のデータとステップＳ５の処理を受けた非調和成分のデータとを音声素片毎に加算する。そして、ステップＳ９では、ステップＳ８で加算処理を受けたデータを音声素片毎に逆ＦＦＴ等により時間領域の歌唱音声信号に変換する。ステップ９の処理の結果として得られる歌唱音声信号は、ディジタル形式の信号であり、Ｄ／Ａ変換器２２によりアナログ形式の歌唱音声信号に変換される。
【００６１】
一例として、「サイタ」（ｓａｉｔａ）という歌唱音声を合成するには、データベース２０から音声素片「＃ｓ」、「ｓａ」、「ａ」、「ａｉ」、「ｉ」、「ｉｔ」、「ｔａ」、「ａ」、「ａ＃」（＃は無音を表わす）にそれぞれ対応する音声素片データを読出してステップＳ５で接続する。そして、ステップＳ７では、音声素片毎にステップＳ６での変換に係るピッチを有する調和成分のデータを生成し、ステップＳ８の加算処理、ステップＳ９の変換処理及び変換器２２のＤ／Ａ変換処理を経ると、「サイタ」の歌唱音声信号が得られる。
【００６２】
上記したステップＳ１〜Ｓ９の処理は、パーソナルコンピュータ等の小型コンピュータにおいてソフトウエア処理として実行してもよく、あるいは電子回路等のハードウェアを用いて実行してもよい。
【００６３】
【発明の効果】
以上のように、この発明によれば、記憶手段に記憶したピッチ変換データを用いて入力音符ピッチを歌唱合成用の音声ピッチに変換する構成にしたので、歌唱者の発声ピッチや経時的なピッチ変動を再現できる効果が得られる。また、人間の実際の発声における経時的に不安定なピッチ変動を忠実に再現したり、音域による発声ピッチの精度の違いを表現したり、歌唱者によるピッチ変化の違いを表現したりすることも可能となる。
【００６４】
その上、入力ピッチに対してピッチ差分データの示す音声ピッチの変動分を加算してピッチ変換を行なう構成にしたので、記憶するデータ量が少なくて済む利点もある。
【図面の簡単な説明】
【図１】この発明の一実施形態に係る歌唱合成装置を示すブロック図である。
【図２】ピッチ変換装置の動作を説明するためのブロック図である。
【図３】ピッチ変換関数の一例を示すグラフである。
【図４】図３のピッチ変換関数を用いたピッチ変換の一例を示す図であり、（Ａ）は、変換前のピッチ変化を示すグラフ、（Ｂ）は、変換後のピッチ変化を示すグラフである。
【図５】データベースにおけるピッチ差分データの記憶状況を示すグラフである。
【図６】図５のピッチ差分データを用いたピッチ変換の一例を示す図であり、（Ａ）は、変換前のピッチ変化を示すグラフ、（Ｂ）は、変換後のピッチ変化を示すグラフである。
【図７】この発明の他の実施形態に係る歌唱合成装置を示すブロック図である。
【符号の説明】
１０：入力部、１２：ピッチ変換装置、１４：ピッチ変換器、１６，２０：データベース、１８：歌唱合成器、２２：Ｄ／Ａ変換器、Ｓ１：歌唱音声信号入力処理、Ｓ２：ＳＭＳ分析及び区間切出し処理、Ｓ３：歌詞データ及びメロディデータ入力処理、Ｓ４：音素列−音声素片変換処理、Ｓ５：音声素片接続処理、Ｓ６：ピッチ変換処理、Ｓ７：調和成分生成処理、Ｓ８：加算処理、Ｓ９：時間領域の歌唱音声信号に変換する処理。

Claims

ピッチデータの示すピッチを有する歌唱音声信号を合成する歌唱合成手段を備えた歌唱合成装置において使用されるピッチ変換装置であって、
合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、
複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、
前記入力手段から入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すデータを前記ピッチデータとして前記歌唱合成手段に供給する変換手段とを備えたピッチ変換装置。
前記入力手段は、歌唱者を示す歌唱者データを入力し、前記記憶手段は、前記ピッチ変換関数を歌唱者毎に記憶し、前記変換手段は、前記歌唱者データの示す歌唱者に対応するピッチ変換関数に基づいてピッチ変換を行なう請求項１記載のピッチ変換装置。
前記変換手段は、ピッチ変換の際に入力ピッチに依存する乱数的なピッチ変動を音声ピッチに付与する請求項１又は２記載のピッチ変換装置。
前記変換手段は、ピッチ変換の際に経時的なピッチ変動を音声ピッチに付与する請求項１又は２記載のピッチ変換装置。
複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、ピッチデータの示すピッチを有する歌唱音声信号を合成する歌唱合成手段とを備えた歌唱合成装置において使用されるピッチ変換方法であって、
合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力するステップと、
このステップで入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すデータを前記ピッチデータとして前記歌唱合成手段に供給するステップとを含むピッチ変換方法。
コンピュータと、ピッチデータの示すピッチを有する歌唱音声信号を合成する歌唱合成手段とを備えた歌唱合成装置において使用されるプログラムであって、前記コンピュータを、
合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、
複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、
前記入力手段から入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すデータを前記ピッチデータとして前記歌唱合成手段に供給する変換手段として機能させるプログラム。
コンピュータを備えた歌唱合成装置において使用されるプログラムであって、前記コンピュータを、
合成すべき順次の歌唱音声にそれぞれ対応して順次にピッチを入力する入力手段と、
複数の入力ピッチをそれぞれ複数の音声ピッチに変換するためのピッチ変換関数であって、入力ピッチが所定の下限ピッチよりも低い場合には入力ピッチより高くなるように、入力ピッチが所定の上限ピッチよりも高い場合には入力ピッチより低くなるように、入力ピッチが所定の下限ピッチと所定の上限ピッチとの間である場合には入力ピッチと等しくなるように変換するピッチ変換関数を記憶する記憶手段と、
前記入力手段から入力されるピッチ毎に該ピッチを前記ピッチ変換関数に基づいて音声ピッチに変換し、該音声ピッチを示すピッチデータを送出する変換手段と、
この変換手段から送出されるピッチデータの示す音声ピッチを有する歌唱音声信号を合成する歌唱合成手段として機能させるプログラム。