JPH0197997A - 声質変換方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は声質変換方式に関し、特に、ベクトル量子化
を用いた声質変換に関するものであり、規則合成システ
ムの多様化を可能とするような声質変換方式に関する。

［従来の技術および発明が解決しようとする問題点］ 人間の声は個々の個人によってのみ発声されるものであ
り、個人性を有している。音声における個人性は、音声
のスペクトル、パワー、ピッチ周波数などに混在一体と
なって含まれている。しかしながら、従来の技術では、
これらのパラメータのうち、ごく一部のもの、たとえば
スペクトルパラメータの中のホルマント周波数や、スペ
クトル全体の傾きなどを制御し、声質を変換していた。

これらの技術では、大雑把な声質変換（たとえば男女声
変換）しかできない。また、大雑把な声質変換を行なう
にしても、声質を特徴づけるパラメータの変換規則の求
め方は確立されておらず、試行錯誤の繰返しによって行
なうヒユーリステライタな手順を必要とするという問題
点があった。

それゆえに、この発明の主たる目的は、ベクトル量子化
を用いて個人のスペクトル空間を表現し、この空間の対
応づけにより声質の変換を行なうことのできるような声
質変換方式を提供することである。

［問題点を解決するための手段］ この発明は音声をディジタル化し、ディジタル信号処理
を行なってパラメータ値を抽出し、このパラメータ値を
変化させて音声の声質変換を行なう声質変換方式であっ
て、音声をベクトル量子化し、ベクトル量子化のコード
ブックについて基準の話者とターゲットとなる話者の間
で対応づけを行ない、この対応づけに基づいて声質を変
換するように構成したものである。

［作用］ この発明に係る声質変換方式は、ベクトル量子化が音声
スペクトルを効率良く表現できる手法であることに鑑み
、ベクトル量子化のコードブックについて基準の話者と
ターゲットとなる話者との間で対応づけを行ない、この
対応づけに基づいて声質変換を効率良く行なう。

［発明の実施例］ 第１図はこの発明が適用される声質変換装置の概略ブロ
ック図である。

第１図において、声質変換装置はアンプ１とローパスフ
ィルタ２とＡ／Ｄ変換器３と処理装置４とから構成され
る。アンプ１は入力された音声信号を増幅するものであ
り、ローパスフィルタ２は増幅された音声信号から折返
し雑音を除去するものである。Ａ／Ｄ変換器３は音声信
号を１２ｋＨ２のサンプリング信号により、１６ビツト
のディジタル信号に変換するものである。処理装置４は
コンピュータ５と磁気ディスク６と端末類７とプリンタ
８とを含む。コンピュータ５はＡ／Ｄ変換器３から入力
された音声のディジタル信号に基づいて、後述の第２図
ないし第５図に示した手法を用いて声質変換を行なうも
のである。

第２図ないし第５図はこの発明の一実施例の音声の入力
から声質変換された音声を出力するまでの全体の流れを
示すフロー図であり、特に、第２図はセパレートコード
ブックの作成手順を示し、第３図および第４図は変換コ
ードブックの作成手順を示し、第５図は声質変換合成手
順について示す。

次に、第１図ないし第５図を参照して、この発明の一実
施例の具体的な動作について説明する。

この実施例における声質変換方式は、セパレートコード
ブックの作成と変換コードブックの作成と声質変換合成
の３つのステップからなっている。

まず、第２図を参照して、セパレートコードブックの作
成手順について説明する。音声に含まれる個人性は、パ
ワー、ピッチ周波数およびスペクトルに含まれており、
声質変換を行なうためには、これらのパラメータを適切
に制御しなければならない。そこで、個人性をうまく表
現するために、これらのパラメータ別にクラスタリング
を行なってコードブックを作成する。まず、入力された
音声はアンプ１で増幅され、ローパスフィルタ２によっ
て折返し雑音が除去された後、ステップ１０１において
、Ａ／Ｄ変換器３によってディジタル信号に変換される
。

その後、ステップ１０２において、ＬＰＣ分析が施され
、パワー、ピッチ周波数およびスペクトル情報（自己相
関係数、ＬＰＣケプストラム係数）の３種のパラメータ
が得られる。これらのパラメータを充分多く収集した後
に、ステップ１０３゜１０４および１０５においてクラ
スタリングを行なう。クラスタリングは、ＬＢＧアルゴ
リズムで行なわれるが、この際使用される距離尺度は、
下記の式で示すごとく、パワーについては第（１）式、
ピッチ周波数については第（２）式、スペクトル情報に
ついては第（３）式のＷＬＲ尺度を用いる。

Ｄｐｏｖｅｒ　＝Ｐ／Ｐ’　　＋Ｐ’　／Ｐ−２−（１
）Ｄｐｉｔｃｈ　−ｆ　−ｆ　’　　　　　　　　　　
　　　−（２）Ｄ　ｓｐｅｃｔｒｕｍ−Σ［ＩＣ（ｎ）
−Ｃ’　　（ｎ））Ｘ　　ｉＲ（ｎ）−Ｒ’　　（ｎ）
１１・・・　（３）ここで、Ｐは話者Ａのパワーであり
　ｐ　／　は話者Ｂのパワーであり、ｆは話者Ａのピッ
チ周波数であり、ｆ′は話者Ｂのピッチ周波数であり、
Ｃは話者Ａのケプストラム係数であり、Ｃ′は話者Ｂの
ケプストラム係数であり、Ｒは話者Ａの自己相関係数で
あり、Ｒ′は話者Ｂの自己相関係数である。

なお、上述のＬＢＧアルゴリズムについては、Ｌｉｎｄ
ｅ、Ｂｕｚｏ、Ｇｒａｙ；　　“Ａｎ　　ａｌｇｏｒｉ
ｔｈｍ　　ｆｏｒ　　Ｖｅｃｔｏｒ　　Ｑｕａｎｔｉｚ
ａｔｉｏｎ　　Ｄｅｓｉｇｎ”ｌＥＥＥＣＯＭ−２８（
１９８０−０１）に詳細に記載されている。また、ＷＬ
Ｒ尺度は、音声の特徴を協調する尺度であり、単語音声
の認識において高い性能を示すものであり、村山、鹿野
による“ピークに重みをおいたＬＰＧスペクトルマツチ
ング尺度”電子通信学界論文（Ａ）Ｊ６４−Ａ５　（１
９８１−０５）に記載されている。

上述の第（１）式ないしく３）式に基づいて、ステップ
１０６のパワーコードブック、ステップ１０７のピッチ
周波数のコードブックおよびステップ１０８のスペクト
ル情報のコードブックが求まる。

次に、第３図および第４図を参照して、変換コードブッ
クの作成手順について説明する。変換コードブックの作
成は、話者Ａおよび話者Ｂが発声した学習用の単語セッ
トを用いて行なう。話者Ａの音声は、ステップ２０１に
おいて、前述の第２図に示したセパレートコードブック
の作成手順に従って求めたセパレートコードブックを用
いて、パワー、ピッチ周波数およびスペクトル別にセパ
レート量子化される。次に、量子化された符号を用いて
、ステップ２０２において、話者Ａから話者Ｂへの変換
コードブックＢ′を作成する。この作成手順については
、後で説明する。ステップ２０３においては、コードブ
ックＢ′をコードブックＡと入替えることによって、話
者Ｂへの変換を行なう。ステップ２０５では、コードブ
ックＢ′で表現された特徴量とコードブックＢで表現さ
れた特徴量とが比較される。ステップ２０４において、
比較結果が成るしきい値を超えていることを判別すると
、ステップ２０６において、変換コードブックＢ′が完
成したものとし、ステップ２０５においてしきい値に達
していないことを判別すると、再びステップ２０２に戻
り、上述の動作を繰返し行なう。

次に、第４図を参照して、変換コードブックＢ′を求め
る手順について説明する。まず、ステップ３０１および
３０２において、話者Ａおよび話者Ｂのそれぞれの音声
にＬＰＧ分析を施し、パワー、ピッチ周波数およびスペ
クトルパラメータを求める。次に、ステップ３０３およ
び３０４において、スペクトルパラメータをベクトル量
子化し、ステップ３０５および３０６でパワーをスカラ
ー量子化し、ステップ３０７および３０８においてピッ
チ周波数をスカラー量子化する。

話者Ａおよび話者Ｂの発声した音声の時間対応をとるた
めに、スペクトルパラメータを用いて、ステップ３０９
においてＤｏｕｂｌｅ　　Ｓｐｌｉを法によるＤＰマツ
チングを行なう。ここで得られた時間対応の情報゛をも
とにして、ステップ３１０．３１１および３１２におい
て、各特徴量について話者Ａと話者Ｂの対応関係を求め
、ヒストグラムを作成する。スペクトルパラメータおよ
びパワーの変換フードブックは、このヒストグラムを重
みとした話者Ｂの特徴ベクトルの線形結合で求める。ま
た、ピッチ周波数の変換コードブックは、このヒストグ
ラムの最大値を与える話者Ｂの特徴ベクトルで作成する
。

次に、第５図を参照して、コードブックを用いた声質変
換合成方法について説明する。話者への音声は、ステッ
プ４０１においてＬＰＧ分析され、パワー、ピッチ周波
数およびスペクトルパラメータが抽出される。

次に、前述の第２図で求めた話者Ａのセパレートコード
ブックを用いて、ステップ４０２においてスペクトルパ
ラメータがベク、トル量子化され、ステップ４０３にお
いてパワーがスカラー量子化され、ステップ４０４にお
いてピッチ周波数がスカラー量子化される。これらの量
子化されたパラメータを復号化する過程において、前述
の第３図で説明した変換コードブックが使用される。す
なわち、ステップ４０５において、話者Ａから話者Ｂへ
のスペクトル変換コードブックを用い、ステップ４０６
において、パワー変換コードブックを用い、ステップ４
０７ではピッチ周波数変換コードブックを用いる。そし
て、変換された各パラメータを用いてステップ４０８に
おいて構成される。

［発明の効果］ 以上のように、この発明によれば、音声をディジタル化
し、ディジタル信号処理を行なってパラメータ値を抽出
し、このパラメータ値を変化させて音声の声質変換を行
なう声質変換方式において、音声をベクトル量子化し、
ベクトル量子化のコードブックについて基準の話者とタ
ーゲットとなる話者の間で対応づけを行ない１．この対
応づけに基づいて声質変換を行なうようにしたが、ベク
トル量子化は音声のスペクトルを効率良く表現できる手
法であり、スペクトル情報全体の特徴をうまく制御する
ことができ、スペクトルの情報の一部のみを制御する従
来の方法に比べて、詳細な声質変換が可能となる。しか
も、音声に含まれる個人性を各個人ごとのコードブック
によって表現するようにしたが、このコードブックの作
成アルゴリズムは既に確立されており、不特定多数の音
声の個人性を得ることが容易となる。さらに、個人のコ
ードブックが作成されれば、この発明によるアルゴリズ
ムに従って容易に声質変換が可能となる。

【図面の簡単な説明】

第１図はこの発明が適用される声質変換装置の概略ブロ
ック図である。第２図はセパレートコードブックの作成
手順を示すフロー図である。第３図および第４図は変換
コードブックの作成手順を示すフロー図である。第５図
は性質変換合成手順を説明するためのフロー図である。 図において、１はアンプ、２はローパスフィルタ、３は
Ａ／Ｄ変換器、４は処理装置、５はコンピュータを示す
。 ＷＷの浄；（内容に変更なし） 第２図 へ澗炉 第３図 手続補正書（旗） 昭和６３年２月４日 ２、発明の名称 声質変換方式 ３、補正をする者 事件との関係　　特許出願人 住　所　京都府相楽郡精華町大字乾谷小字三平谷５番地
名　称　株式会社エイ・ティ・アール自動翻訳電話研究
所代表者　縛松　　明 ４、代理人 住　所　　大阪市北区南森町２丁目１番２９号　住友銀
行南森町ビル６、補正の対象 図面 ７、補正の内容 適正な用紙を用いて十分に濃厚な黒色で鮮明に描いた図
面を別紙のとおり。 以上

Claims (6)

【特許請求の範囲】
1. （１）音声をディジタル化し、ディジタル信号処理を行
   なってパラメータ値を抽出し、このパラメータ値を変化
   させて音声の声質変換を行なう声質変換方式において、 前記音声をベクトル量子化し、ベクトル量子化のコード
   ブックについて基準の話者とターゲットとなる話者との
   間で対応づけを行ない、この対応づけに基づいて声質変
   換を行なうことを特徴とする、声質変換方式。
2. （２）前記音声の特徴として、パワー、ピッチ周波数お
   よびスペクトルの３種類についてセパレートベクトル量
   子化を行ない、各特徴量の対応づけを行なって声質の変
   換を行なうことを特徴とする、特許請求の範囲第１項記
   載の声質変換方式。
3. （３）前記基準話者とターゲット話者間の対応づけの方
   法として、両者間のコードブックのベクトルの対応を一
   定の学習単語の学習により求め、それに基づいて声質の
   変換を行なうことを特徴とする、特許請求の範囲第１項
   記載の声質変換方式。
4. （４）前記学習の際にＤＰマッチングの対応付けにより
   ヒストグラムを作成し、これを用いて基準話者とターゲ
   ット話者の対応づけを求め、声質の変換を行なうことを
   特徴とする、特許請求の範囲第３項記載の声質変換方式
   。
5. （５）前記ヒストグラムを用いて対応づけを求める際に
   、パワーおよびスペクトルに対して、ヒストグラムを重
   みとしたターゲット話者の特徴ベクトルの線形結合で基
   準話者の特徴ベクトルを置き換えることにより、声質変
   換を行なうことを特徴とする、特許請求の範囲第４項記
   載の声質変換方式。
6. （６）前記ヒストグラムを用いて対応づけを求める際に
   、ピッチ周波数に対して、ヒストグラムが最大となるタ
   ーゲット話者の特徴ベクトルをそれに対応する基準話者
   の特徴ベクトルで置き換えることにより、声質変換変換
   を行なうことを特徴とする、特許請求の範囲第４項記載
   の声質変換方式。