JPH07104777A - ピッチ検出方法及び音声分析合成方法 - Google Patents
ピッチ検出方法及び音声分析合成方法Info
- Publication number
- JPH07104777A JPH07104777A JP24575793A JP24575793A JPH07104777A JP H07104777 A JPH07104777 A JP H07104777A JP 24575793 A JP24575793 A JP 24575793A JP 24575793 A JP24575793 A JP 24575793A JP H07104777 A JPH07104777 A JP H07104777A
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- block
- data
- larger
- current block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【構成】 ピッチ抽出部13において、音声ピッチ抽出
時に、抽出されたピッチに比較してその半分の値を使用
するべくか否かの判断を行う。この判断結果に応じて
P、P/2選択部26は、高精度ピッチサーチ部16か
らのピッチデータPを、そのまま(P)あるいは半分
(P/2)にして、符号化部21に送る。 【効果】 本来のピッチとその2倍のピッチが同程度含
まれている音声について2倍のピッチによる分析・合成
にて生じるエネルギの強い集中をピッチを半分にするこ
とで緩和させ、合成音の品質を高める。
時に、抽出されたピッチに比較してその半分の値を使用
するべくか否かの判断を行う。この判断結果に応じて
P、P/2選択部26は、高精度ピッチサーチ部16か
らのピッチデータPを、そのまま(P)あるいは半分
(P/2)にして、符号化部21に送る。 【効果】 本来のピッチとその2倍のピッチが同程度含
まれている音声について2倍のピッチによる分析・合成
にて生じるエネルギの強い集中をピッチを半分にするこ
とで緩和させ、合成音の品質を高める。
Description
【0001】
【産業上の利用分野】本発明は、入力音声信号をブロッ
ク単位で区分して、区分されたブロックを単位として音
声分析処理を行う際の入力音声信号からピッチを検出す
るピッチ検出方法、及びこのピッチ検出方法を用いた音
声分析合成方法に関する。
ク単位で区分して、区分されたブロックを単位として音
声分析処理を行う際の入力音声信号からピッチを検出す
るピッチ検出方法、及びこのピッチ検出方法を用いた音
声分析合成方法に関する。
【0002】
【従来の技術】オーディオ信号(音声信号や音響信号を
含む)の時間領域や周波数領域における統計的性質と人
間の聴感上の特性を利用して信号圧縮を行うような符号
化方法が種々知られている。この符号化方法としては、
大別して時間領域での符号化、周波数領域での符号化、
分析合成符号化等が挙げられる。
含む)の時間領域や周波数領域における統計的性質と人
間の聴感上の特性を利用して信号圧縮を行うような符号
化方法が種々知られている。この符号化方法としては、
大別して時間領域での符号化、周波数領域での符号化、
分析合成符号化等が挙げられる。
【0003】音声信号等の高能率符号化の例として、M
BE(Multiband Excitation: マルチバンド励起)符号
化、SBE(Singleband Excitation:シングルバンド励
起)符号化、ハーモニック(Harmonic)符号化、SBC
(Sub-band Coding:帯域分割符号化)、LPC(Linear
Predictive Coding: 線形予測符号化)、あるいはDC
T(離散コサイン変換)、MDCT(モデファイドDC
T)、FFT(高速フーリエ変換)等において、スペク
トル振幅やそのパラメータ(LSPパラメータ、αパラ
メータ、kパラメータ等)のような各種情報データを量
子化する場合に、従来においてはスカラ量子化を行うこ
とが多い。
BE(Multiband Excitation: マルチバンド励起)符号
化、SBE(Singleband Excitation:シングルバンド励
起)符号化、ハーモニック(Harmonic)符号化、SBC
(Sub-band Coding:帯域分割符号化)、LPC(Linear
Predictive Coding: 線形予測符号化)、あるいはDC
T(離散コサイン変換)、MDCT(モデファイドDC
T)、FFT(高速フーリエ変換)等において、スペク
トル振幅やそのパラメータ(LSPパラメータ、αパラ
メータ、kパラメータ等)のような各種情報データを量
子化する場合に、従来においてはスカラ量子化を行うこ
とが多い。
【0004】上記PARCOR法等の音声分析・合成系
では、励振源を切り換えるタイミングは時間軸上のブロ
ック(フレーム)毎であるため、同一フレーム内では有
声音と無声音とを混在させることができず、結果として
高品質な音声は得られなかった。
では、励振源を切り換えるタイミングは時間軸上のブロ
ック(フレーム)毎であるため、同一フレーム内では有
声音と無声音とを混在させることができず、結果として
高品質な音声は得られなかった。
【0005】これに対して、上記MBE符号化において
は、1ブロック(フレーム)内の音声に対して、周波数
スペクトルの各ハーモニクス(高調波)や2〜3ハーモ
ニクスをひとまとめにした各バンド(帯域)毎に、又は
固定の帯域幅(例えば300〜400Hz)で分割された
各バンド毎に、そのバンド中のスペクトル形状に基づい
て有声音/無声音判別(V/UV判別)を行っているた
め、音質の向上が認められる。この各バンド毎のV/U
V判別は、主としてバンド内のスペクトルがいかに強く
ハーモニクス構造を有しているかを見て行っている。
は、1ブロック(フレーム)内の音声に対して、周波数
スペクトルの各ハーモニクス(高調波)や2〜3ハーモ
ニクスをひとまとめにした各バンド(帯域)毎に、又は
固定の帯域幅(例えば300〜400Hz)で分割された
各バンド毎に、そのバンド中のスペクトル形状に基づい
て有声音/無声音判別(V/UV判別)を行っているた
め、音質の向上が認められる。この各バンド毎のV/U
V判別は、主としてバンド内のスペクトルがいかに強く
ハーモニクス構造を有しているかを見て行っている。
【0006】上記有声音の波形は一般に周期的構造を有
しており、この基本周期をピッチ周期、その逆数をピッ
チ周波数という。このピッチを入力音声信号から検出あ
るいは抽出することは、一般の音声符号化処理、特に音
声を分析し合成する音声分析合成において重要とされ
る。音声分析合成におけるピッチのデータとしては、ピ
ッチ周期をサンプル数で表したいわゆるピッチラグを用
いることが多い。
しており、この基本周期をピッチ周期、その逆数をピッ
チ周波数という。このピッチを入力音声信号から検出あ
るいは抽出することは、一般の音声符号化処理、特に音
声を分析し合成する音声分析合成において重要とされ
る。音声分析合成におけるピッチのデータとしては、ピ
ッチ周期をサンプル数で表したいわゆるピッチラグを用
いることが多い。
【0007】
【発明が解決しようとする課題】ところで、同一話者が
発声する音声において、話者が意図的に短時間(例えば
約100ms程度)に亘って突然ピッチ(ピッチラグ)
を2倍にする(1オクターブ下げる)ことはあまり考え
られないが、言語(例えば英語)によっては無意識のう
ちにこれとほぼ等価なことが起きることが認められてい
る。この状態を周波数分析すると、本来のピッチに同期
して表れるスペクトルのピークの他に、ピークとピーク
との谷間において新たな小ピークが存在していることが
確認されている。この谷間のピークが大きくなった場合
には、ピッチは2倍になったものと解釈できるが、その
後、スペクトルエンベロープをベクトル量子化するよう
な場合に、この状態に対応するコードブックがない場合
には、量子化の結果として谷間のピークが本来のピーク
とほぼ同等になってしまい、合成音の品質を劣化させる
原因となっている。
発声する音声において、話者が意図的に短時間(例えば
約100ms程度)に亘って突然ピッチ(ピッチラグ)
を2倍にする(1オクターブ下げる)ことはあまり考え
られないが、言語(例えば英語)によっては無意識のう
ちにこれとほぼ等価なことが起きることが認められてい
る。この状態を周波数分析すると、本来のピッチに同期
して表れるスペクトルのピークの他に、ピークとピーク
との谷間において新たな小ピークが存在していることが
確認されている。この谷間のピークが大きくなった場合
には、ピッチは2倍になったものと解釈できるが、その
後、スペクトルエンベロープをベクトル量子化するよう
な場合に、この状態に対応するコードブックがない場合
には、量子化の結果として谷間のピークが本来のピーク
とほぼ同等になってしまい、合成音の品質を劣化させる
原因となっている。
【0008】すなわち、通常の音声は、そのピッチに対
応する基本周波数とその整数倍の点のピークを持つ周波
数構造を持っている。ところが、話者によってはある条
件の下でこれ以外にもピークを持つ音声、例えば図10
に示すような周波数構造を有する音声を発することが認
められている。この図10は音声パワースペクトルを示
す図であり、図中の実線の矢印位置のピークが本来のピ
ッチ成分に対応するピークを、破線の矢印位置のピーク
が2倍のピッチ成分に対応するピークをそれぞれ示して
いる。
応する基本周波数とその整数倍の点のピークを持つ周波
数構造を持っている。ところが、話者によってはある条
件の下でこれ以外にもピークを持つ音声、例えば図10
に示すような周波数構造を有する音声を発することが認
められている。この図10は音声パワースペクトルを示
す図であり、図中の実線の矢印位置のピークが本来のピ
ッチ成分に対応するピークを、破線の矢印位置のピーク
が2倍のピッチ成分に対応するピークをそれぞれ示して
いる。
【0009】この本来のピーク以外のピークがある程度
大きくなると、時間軸でのピッチ抽出法においては完全
に2倍のピッチになったと推定せざるを得ない状態にな
る。ここで、このスペクトル(のピークのエンベロー
プ)を例えばベクトル量子化する場合、上記図10に対
応するようなコードベクトルは用意されていないのが通
常であり、最も近似したスペクトルのピークエンベロー
プのコードベクトルが選ばれてベクトル量子化されるか
ら、逆量子化して得られる音声パワースペクトルは例え
ば図11のようになり、谷間のピーク(上記2倍のピッ
チ成分に対応するピーク)が大きくなってしまう。
大きくなると、時間軸でのピッチ抽出法においては完全
に2倍のピッチになったと推定せざるを得ない状態にな
る。ここで、このスペクトル(のピークのエンベロー
プ)を例えばベクトル量子化する場合、上記図10に対
応するようなコードベクトルは用意されていないのが通
常であり、最も近似したスペクトルのピークエンベロー
プのコードベクトルが選ばれてベクトル量子化されるか
ら、逆量子化して得られる音声パワースペクトルは例え
ば図11のようになり、谷間のピーク(上記2倍のピッ
チ成分に対応するピーク)が大きくなってしまう。
【0010】このような状態となった合成音は、特に位
相を伝送しない場合に、不要な成分が全てピッチに同期
してエネルギの集中を引き起こすため、非常に聞きにく
い音(いわゆる buzzyな音)となっている。
相を伝送しない場合に、不要な成分が全てピッチに同期
してエネルギの集中を引き起こすため、非常に聞きにく
い音(いわゆる buzzyな音)となっている。
【0011】本発明は、このような実情に鑑みてなされ
たものであり、本来のピッチ成分とさらにその2倍のピ
ッチ成分とが同程度に含まれているような音声について
適当なピッチ検出が行え、合成音の品質劣化を防止でき
るようなピッチ検出方法及び音声分析合成方法の提供を
目的とする。
たものであり、本来のピッチ成分とさらにその2倍のピ
ッチ成分とが同程度に含まれているような音声について
適当なピッチ検出が行え、合成音の品質劣化を防止でき
るようなピッチ検出方法及び音声分析合成方法の提供を
目的とする。
【0012】
【課題を解決するための手段】本発明に係るピッチ検出
方法は、音声分析の際の音声の基本周期に相当するピッ
チを検出するピッチ検出方法において、入力音声信号を
時間軸上でブロック単位で区分する工程と、この区分さ
れた各ブロックの信号毎に発声者が固有に有する典型的
ピッチPtと現在ブロックのピッチPとをそれぞれ検出
する工程と、現在ブロックのピッチPが本来のピッチの
倍となっていると判断する工程とを有し、この倍ピッチ
判断工程は、(c1)上記現在ブロックのピッチPが上
記典型的ピッチPtの2倍近傍の値以上でありかつブロ
ック平均レベルLVが所定の閾値LVt1より大きい、(c
2)上記典型的ピッチPtが前ブロックでの典型的ピッ
チPt’より大きくかつ上記現在ブロックのピッチPが
所定の閾値thp1より大きい、(c3)上記現在ブロック
のピッチPが前ブロックのピッチP’より大きくかつ上
記現在ブロックのピッチPが所定の閾値thp2より大きく
かつブロック平均レベルLVが所定の閾値LVt2より大き
い、の3つの条件(c1)〜(c3)の内の少なくとも
1つを満足するとき、現在ブロックのピッチPが本来の
ピッチの倍となっていると判断することにより、上述の
課題を解決する。
方法は、音声分析の際の音声の基本周期に相当するピッ
チを検出するピッチ検出方法において、入力音声信号を
時間軸上でブロック単位で区分する工程と、この区分さ
れた各ブロックの信号毎に発声者が固有に有する典型的
ピッチPtと現在ブロックのピッチPとをそれぞれ検出
する工程と、現在ブロックのピッチPが本来のピッチの
倍となっていると判断する工程とを有し、この倍ピッチ
判断工程は、(c1)上記現在ブロックのピッチPが上
記典型的ピッチPtの2倍近傍の値以上でありかつブロ
ック平均レベルLVが所定の閾値LVt1より大きい、(c
2)上記典型的ピッチPtが前ブロックでの典型的ピッ
チPt’より大きくかつ上記現在ブロックのピッチPが
所定の閾値thp1より大きい、(c3)上記現在ブロック
のピッチPが前ブロックのピッチP’より大きくかつ上
記現在ブロックのピッチPが所定の閾値thp2より大きく
かつブロック平均レベルLVが所定の閾値LVt2より大き
い、の3つの条件(c1)〜(c3)の内の少なくとも
1つを満足するとき、現在ブロックのピッチPが本来の
ピッチの倍となっていると判断することにより、上述の
課題を解決する。
【0013】また、本発明に係る音声分析合成方法は、
上記ピッチ検出方法の倍ピッチ判断工程にて上記現在ブ
ロックのピッチPが本来のピッチの倍となっていると判
断されたときには、上記ピッチPの半分のピッチP/2
に基づいて合成を行うことにより、上述の課題を解決す
る。
上記ピッチ検出方法の倍ピッチ判断工程にて上記現在ブ
ロックのピッチPが本来のピッチの倍となっていると判
断されたときには、上記ピッチPの半分のピッチP/2
に基づいて合成を行うことにより、上述の課題を解決す
る。
【0014】ここで、本発明が適用される音声分析合成
方法の具体例としては、マルチバンドエクサイテイショ
ンを用いた音声符号化方法が挙げられる。このマルチバ
ンド励起符号化においては、帯域毎にV/UV(有声音
/無声音)を判別し、これらの帯域毎に判別されたV/
UVに応じて、Vと判別された部分は正弦波等の合成に
より有声音を合成し、UVと判別された部分はノイズ信
号の周波数成分を変形処理することにより無声音を合成
している。このような音声分析合成方法における音声信
号の分析の際には、上記現在ブロックのピッチPに基づ
いて上記入力信号をバンド分割し、この分割されたバン
ド毎にV/UVの判別を行うことが好ましい。
方法の具体例としては、マルチバンドエクサイテイショ
ンを用いた音声符号化方法が挙げられる。このマルチバ
ンド励起符号化においては、帯域毎にV/UV(有声音
/無声音)を判別し、これらの帯域毎に判別されたV/
UVに応じて、Vと判別された部分は正弦波等の合成に
より有声音を合成し、UVと判別された部分はノイズ信
号の周波数成分を変形処理することにより無声音を合成
している。このような音声分析合成方法における音声信
号の分析の際には、上記現在ブロックのピッチPに基づ
いて上記入力信号をバンド分割し、この分割されたバン
ド毎にV/UVの判別を行うことが好ましい。
【0015】
【作用】本来のピッチとさらにその2倍のピッチが同程
度含まれているような音声か否かの判別が確実に行え、
このような状態が生じたときの対処を有効にとることが
できる。また、P/2をピッチデータとして音声合成を
行わせているため、2倍のピッチによる分析・合成にて
生じるエネルギの強い集中をピッチを半分にして行うこ
とで緩和させ、合成音声の品質を高めることができる。
度含まれているような音声か否かの判別が確実に行え、
このような状態が生じたときの対処を有効にとることが
できる。また、P/2をピッチデータとして音声合成を
行わせているため、2倍のピッチによる分析・合成にて
生じるエネルギの強い集中をピッチを半分にして行うこ
とで緩和させ、合成音声の品質を高めることができる。
【0016】
【実施例】以下、本発明に係るピッチ検出方法が適用さ
れる音声分析合成方法の一実施例となる高能率符号化方
法について説明する。高能率符号化方法には、後述する
MBE(Multiband Excitation: マルチバンド励起)符
号化等のように、ブロック毎の信号を周波数軸上に変換
し、複数帯域に分割して各帯域毎にV(有声音)かUV
(無声音)かを判別するような符号化方法を用いること
ができる。
れる音声分析合成方法の一実施例となる高能率符号化方
法について説明する。高能率符号化方法には、後述する
MBE(Multiband Excitation: マルチバンド励起)符
号化等のように、ブロック毎の信号を周波数軸上に変換
し、複数帯域に分割して各帯域毎にV(有声音)かUV
(無声音)かを判別するような符号化方法を用いること
ができる。
【0017】すなわち、本発明が適用される一般的な音
声分析合成方法としては、音声信号を一定サンプル数
(例えば256サンプル)毎にブロック化して、FFT
等の直交変換により周波数軸上のスペクトルデータに変
換すると共に、該ブロック内の音声のピッチを抽出し、
このピッチに応じた間隔で周波数軸上のスペクトルを帯
域分割し、分割された各帯域についてV(有声音)/U
V(無声音)の判別を行っている。このV/UV判別情
報をスペクトルの振幅データと共に符号化して伝送する
わけである。ただし、本発明の実施例においては、後述
するフレーム(例えば160サンプル)単位でV/UV
判別情報やスペクトルの振幅データ等の各種情報を伝送
するようにしている。
声分析合成方法としては、音声信号を一定サンプル数
(例えば256サンプル)毎にブロック化して、FFT
等の直交変換により周波数軸上のスペクトルデータに変
換すると共に、該ブロック内の音声のピッチを抽出し、
このピッチに応じた間隔で周波数軸上のスペクトルを帯
域分割し、分割された各帯域についてV(有声音)/U
V(無声音)の判別を行っている。このV/UV判別情
報をスペクトルの振幅データと共に符号化して伝送する
わけである。ただし、本発明の実施例においては、後述
するフレーム(例えば160サンプル)単位でV/UV
判別情報やスペクトルの振幅データ等の各種情報を伝送
するようにしている。
【0018】ここで、例えばMBEボコーダのような音
声合成分析系を想定する場合、入力される時間軸上の音
声信号に対するサンプリング周波数fs は、通常8kHz
で、全帯域幅は3.4kHz(ただし有効帯域は200〜
3400Hz)であり、女声の高い方から男声の低い方ま
でのピッチラグ(ピッチ周期に相当するサンプル数)
は、20〜147程度である。従って、ピッチ周波数
は、8000/147≒54(Hz)から 8000/20=400(Hz)
程度までの間で変動することになる。従って、周波数軸
上で上記3.4kHzまでの間に約8〜63本のピッチパ
ルス(ハーモニックス)が立つことになる。
声合成分析系を想定する場合、入力される時間軸上の音
声信号に対するサンプリング周波数fs は、通常8kHz
で、全帯域幅は3.4kHz(ただし有効帯域は200〜
3400Hz)であり、女声の高い方から男声の低い方ま
でのピッチラグ(ピッチ周期に相当するサンプル数)
は、20〜147程度である。従って、ピッチ周波数
は、8000/147≒54(Hz)から 8000/20=400(Hz)
程度までの間で変動することになる。従って、周波数軸
上で上記3.4kHzまでの間に約8〜63本のピッチパ
ルス(ハーモニックス)が立つことになる。
【0019】このように、ピッチに応じた間隔で帯域分
割すると、ブロック(フレーム)毎に分割帯域数(バン
ド数)が約8〜63個の間で変化することになることを
考慮して、分割バンド数を一定の個数(例えば12個程
度)に低減あるいは縮退させておくことが好ましい。
割すると、ブロック(フレーム)毎に分割帯域数(バン
ド数)が約8〜63個の間で変化することになることを
考慮して、分割バンド数を一定の個数(例えば12個程
度)に低減あるいは縮退させておくことが好ましい。
【0020】さらに、本発明の実施例においては、音声
分析の際の音声の基本周期に相当するピッチを検出する
際に、上記各ブロック(フレーム)の信号毎に発声者が
固有に有する典型的ピッチPtと現在ブロックのピッチ
Pとをそれぞれ検出した後、(c1)上記現在ブロック
のピッチPが上記典型的ピッチPtの2倍近傍の値以上
でありかつブロック平均レベルLVが所定の閾値LVt1より
大きい、(c2)上記典型的ピッチPtが前ブロックで
の典型的ピッチPt’より大きくかつ上記現在ブロック
のピッチPが所定の閾値thp1より大きい、(c3)上記
現在ブロックのピッチPが前ブロックのピッチP’より
大きくかつ上記現在ブロックのピッチPが所定の閾値th
p2より大きくかつブロック平均レベルLVが所定の閾値LV
t2より大きい、の3つの条件(c1)〜(c3)の内の
少なくとも1つを満足するとき、現在ブロックのピッチ
Pが本来のピッチの倍となっていると判断している。
分析の際の音声の基本周期に相当するピッチを検出する
際に、上記各ブロック(フレーム)の信号毎に発声者が
固有に有する典型的ピッチPtと現在ブロックのピッチ
Pとをそれぞれ検出した後、(c1)上記現在ブロック
のピッチPが上記典型的ピッチPtの2倍近傍の値以上
でありかつブロック平均レベルLVが所定の閾値LVt1より
大きい、(c2)上記典型的ピッチPtが前ブロックで
の典型的ピッチPt’より大きくかつ上記現在ブロック
のピッチPが所定の閾値thp1より大きい、(c3)上記
現在ブロックのピッチPが前ブロックのピッチP’より
大きくかつ上記現在ブロックのピッチPが所定の閾値th
p2より大きくかつブロック平均レベルLVが所定の閾値LV
t2より大きい、の3つの条件(c1)〜(c3)の内の
少なくとも1つを満足するとき、現在ブロックのピッチ
Pが本来のピッチの倍となっていると判断している。
【0021】次に、上述したような音声分析合成方法が
適用可能な、音声信号の合成分析符号化装置(いわゆる
ボコーダ)の一種のMBE(Multiband Excitation: マ
ルチバンド励起)ボコーダの具体例について、図面を参
照しながら説明する。
適用可能な、音声信号の合成分析符号化装置(いわゆる
ボコーダ)の一種のMBE(Multiband Excitation: マ
ルチバンド励起)ボコーダの具体例について、図面を参
照しながら説明する。
【0022】以下に説明するMBEボコーダは、D.W. G
riffin and J.S. Lim, "MultibandExcitation Vocode
r," IEEE Trans.Acoustics,Speech,and Signal Process
ing,vol.36, No.8, pp.1223-1235, Aug. 1988 に開示さ
れているものであり、従来のPARCOR(PARtial au
to-CORrelation: 偏自己相関)ボコーダ等では、音声の
モデル化の際に有声音区間と無声音区間とをブロックあ
るいはフレーム毎に切り換えていたのに対し、MBEボ
コーダでは、同時刻(同じブロックあるいはフレーム
内)の周波数軸領域に有声音(Voiced)区間と無声音
(Unvoiced)区間とが存在するという仮定でモデル化し
ている。
riffin and J.S. Lim, "MultibandExcitation Vocode
r," IEEE Trans.Acoustics,Speech,and Signal Process
ing,vol.36, No.8, pp.1223-1235, Aug. 1988 に開示さ
れているものであり、従来のPARCOR(PARtial au
to-CORrelation: 偏自己相関)ボコーダ等では、音声の
モデル化の際に有声音区間と無声音区間とをブロックあ
るいはフレーム毎に切り換えていたのに対し、MBEボ
コーダでは、同時刻(同じブロックあるいはフレーム
内)の周波数軸領域に有声音(Voiced)区間と無声音
(Unvoiced)区間とが存在するという仮定でモデル化し
ている。
【0023】図1は、上記MBEボコーダに本発明を適
用した実施例の全体の概略構成を示すブロック図であ
る。この図1において、入力端子11には音声信号が供
給されるようになっており、この入力音声信号は、HP
F(ハイパスフィルタ)等のフィルタ12に送られて、
いわゆるDC(直流)オフセット分の除去や帯域制限
(例えば200〜3400Hzに制限)のための少なくと
も低域成分(200Hz以下)の除去が行われる。このフ
ィルタ12を介して得られた信号は、ピッチ抽出部13
及び窓かけ処理部14にそれぞれ送られる。ピッチ抽出
部(ピッチ検出部)13では、入力音声信号データが所
定サンプル数N(例えばN=256)単位でブロック分
割され(あるいは方形窓による切り出しが行われ)、こ
のブロック内の音声信号についてのピッチ抽出が行われ
る。このような切り出しブロック(256サンプル)
を、例えば図2のAに示すようにLサンプル(例えばL
=160)のフレーム間隔で時間軸方向に移動させてお
り、各ブロック間のオーバラップはN−Lサンプル(例
えば96サンプル)となっている。また、窓かけ処理部
14では、1ブロックNサンプルに対して所定の窓関
数、例えばハミング窓をかけ、この窓かけブロックを1
フレームLサンプルの間隔で時間軸方向に順次移動させ
ている。
用した実施例の全体の概略構成を示すブロック図であ
る。この図1において、入力端子11には音声信号が供
給されるようになっており、この入力音声信号は、HP
F(ハイパスフィルタ)等のフィルタ12に送られて、
いわゆるDC(直流)オフセット分の除去や帯域制限
(例えば200〜3400Hzに制限)のための少なくと
も低域成分(200Hz以下)の除去が行われる。このフ
ィルタ12を介して得られた信号は、ピッチ抽出部13
及び窓かけ処理部14にそれぞれ送られる。ピッチ抽出
部(ピッチ検出部)13では、入力音声信号データが所
定サンプル数N(例えばN=256)単位でブロック分
割され(あるいは方形窓による切り出しが行われ)、こ
のブロック内の音声信号についてのピッチ抽出が行われ
る。このような切り出しブロック(256サンプル)
を、例えば図2のAに示すようにLサンプル(例えばL
=160)のフレーム間隔で時間軸方向に移動させてお
り、各ブロック間のオーバラップはN−Lサンプル(例
えば96サンプル)となっている。また、窓かけ処理部
14では、1ブロックNサンプルに対して所定の窓関
数、例えばハミング窓をかけ、この窓かけブロックを1
フレームLサンプルの間隔で時間軸方向に順次移動させ
ている。
【0024】このような窓かけ処理を数式で表すと、 xw (k,q) =x(q) w(kL-q) ・・・(1) となる。この(1)式において、kはブロック番号を、
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部13での図2のAに示
すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(2) =0 r<0,N≦r また、上記窓かけ処理部14での図2のBに示すような
ハミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(3) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(1)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って例えば上記方形窓の場合に窓関数wr (kL-q)=1
となるのは、図3に示すように、kL−N<q≦kLの
ときとなる。また、上記(1)〜(3)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(2)
式、(3)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部13での図2のAに示
すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(2) =0 r<0,N≦r また、上記窓かけ処理部14での図2のBに示すような
ハミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(3) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(1)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って例えば上記方形窓の場合に窓関数wr (kL-q)=1
となるのは、図3に示すように、kL−N<q≦kLの
ときとなる。また、上記(1)〜(3)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(2)
式、(3)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
【0025】窓かけ処理部14では、図4に示すよう
に、上記(3)式のハミング窓がかけられた1ブロック
256サンプルのサンプル列xwh(k,r) に対して179
2サンプル分の0データが付加されて(いわゆる0詰め
されて)2048サンプルとされ、この2048サンプ
ルの時間軸データ列に対して、直交変換部15により例
えばFFT(高速フーリエ変換)等の直交変換処理が施
される。あるいは、0詰めなしで256点のままでFF
Tを施して処理量を減らす方法もある。
に、上記(3)式のハミング窓がかけられた1ブロック
256サンプルのサンプル列xwh(k,r) に対して179
2サンプル分の0データが付加されて(いわゆる0詰め
されて)2048サンプルとされ、この2048サンプ
ルの時間軸データ列に対して、直交変換部15により例
えばFFT(高速フーリエ変換)等の直交変換処理が施
される。あるいは、0詰めなしで256点のままでFF
Tを施して処理量を減らす方法もある。
【0026】ピッチ抽出部(ピッチ検出部)13では、
上記xwr(k,r) のサンプル列(1ブロックNサンプル)
に基づいてピッチ抽出が行われる。このピッチ抽出法に
は、時間波形の周期性や、スペクトルの周期的周波数構
造や、自己相関関数を用いるもの等が知られているが、
本実施例では、センタクリップ波形の自己相関法を採用
している。このときのブロック内でのセンタクリップレ
ベルについては、1ブロックにつき1つのクリップレベ
ルを設定してもよいが、ブロックを細分割した各部(各
サブブロック)の信号のピークレベル等を検出し、これ
らの各サブブロックのピークレベル等の差が大きいとき
に、ブロック内でクリップレベルを段階的にあるいは連
続的に変化させるようにしている。このセンタクリップ
波形の自己相関データのピーク位置に基づいてピッチ周
期を決めている。このとき、現在フレームに属する自己
相関データ(自己相関は1ブロックNサンプルのデータ
を対象として求められる)から複数のピークを求めてお
き、これらの複数のピークの内の最大ピークが所定の閾
値以上のときには該最大ピーク位置をピッチ周期とし、
それ以外のときには、現在フレーム以外のフレーム、例
えば前後のフレームで求められたピッチに対して所定の
関係を満たすピッチ範囲内、例えば前フレームのピッチ
を中心として±20%の範囲内にあるピークを求め、こ
のピーク位置に基づいて現在フレームのピッチを決定す
るようにしている。このピッチ抽出部13ではオープン
ループによる比較的ラフなピッチのサーチが行われ、抽
出されたピッチデータは高精度(ファイン)ピッチサー
チ部16に送られて、クローズドループによる高精度の
ピッチサーチ(ピッチのファインサーチ)が行われる。
なお、センタクリップ波形ではなく、入力波形をLPC
分析した残差波形の自己相関からピッチを求める方法を
用いてもよい。
上記xwr(k,r) のサンプル列(1ブロックNサンプル)
に基づいてピッチ抽出が行われる。このピッチ抽出法に
は、時間波形の周期性や、スペクトルの周期的周波数構
造や、自己相関関数を用いるもの等が知られているが、
本実施例では、センタクリップ波形の自己相関法を採用
している。このときのブロック内でのセンタクリップレ
ベルについては、1ブロックにつき1つのクリップレベ
ルを設定してもよいが、ブロックを細分割した各部(各
サブブロック)の信号のピークレベル等を検出し、これ
らの各サブブロックのピークレベル等の差が大きいとき
に、ブロック内でクリップレベルを段階的にあるいは連
続的に変化させるようにしている。このセンタクリップ
波形の自己相関データのピーク位置に基づいてピッチ周
期を決めている。このとき、現在フレームに属する自己
相関データ(自己相関は1ブロックNサンプルのデータ
を対象として求められる)から複数のピークを求めてお
き、これらの複数のピークの内の最大ピークが所定の閾
値以上のときには該最大ピーク位置をピッチ周期とし、
それ以外のときには、現在フレーム以外のフレーム、例
えば前後のフレームで求められたピッチに対して所定の
関係を満たすピッチ範囲内、例えば前フレームのピッチ
を中心として±20%の範囲内にあるピークを求め、こ
のピーク位置に基づいて現在フレームのピッチを決定す
るようにしている。このピッチ抽出部13ではオープン
ループによる比較的ラフなピッチのサーチが行われ、抽
出されたピッチデータは高精度(ファイン)ピッチサー
チ部16に送られて、クローズドループによる高精度の
ピッチサーチ(ピッチのファインサーチ)が行われる。
なお、センタクリップ波形ではなく、入力波形をLPC
分析した残差波形の自己相関からピッチを求める方法を
用いてもよい。
【0027】また、このピッチ抽出部(ピッチ検出部)
13においては、前述したような、一定話者の発声の中
でピッチが瞬間的に2倍になった(音声パワースペクト
ルの本来のピークの谷間のピークが大きくなった)こと
の検出も行っている。この検出方法について、以下に説
明する。この検出方法の説明においては、現在分析対象
としているフレーム(現フレーム)で抽出されたピッチ
をP、前フレームでのピッチをP’、上記現フレームで
の典型的(typical )ピッチをPt、前フレームでの典
型的ピッチをPt’とし、現フレームでの入力音声レベ
ルをLVとしている。
13においては、前述したような、一定話者の発声の中
でピッチが瞬間的に2倍になった(音声パワースペクト
ルの本来のピークの谷間のピークが大きくなった)こと
の検出も行っている。この検出方法について、以下に説
明する。この検出方法の説明においては、現在分析対象
としているフレーム(現フレーム)で抽出されたピッチ
をP、前フレームでのピッチをP’、上記現フレームで
の典型的(typical )ピッチをPt、前フレームでの典
型的ピッチをPt’とし、現フレームでの入力音声レベ
ルをLVとしている。
【0028】ここで、基本的なピッチである上記典型的
ピッチPtとは、本件発明者が先に特願平4−9226
1号の明細書及び図面において開示したものである。す
なわち、ピッチ抽出のために、1フレームの音声信号の
自己相関を求め、この自己相関に表れる複数のピークの
最大値が所定値kを超えたとき、この最大ピークに対応
するピッチを典型的なピッチPtとして登録する。ま
た、この典型的ピッチPtが現フレームのピッチPとな
る。上記自己相関の最大ピーク値が上記所定値kを超え
ない場合には、前フレームのピッチや最大ピーク値の大
きさ等に基づいて、現フレームのピッチPを決定する
が、これを典型的ピッチPtとして登録はしない。この
ときの典型的ピッチPtとしては、既に登録されている
典型的ピッチが用いられる。
ピッチPtとは、本件発明者が先に特願平4−9226
1号の明細書及び図面において開示したものである。す
なわち、ピッチ抽出のために、1フレームの音声信号の
自己相関を求め、この自己相関に表れる複数のピークの
最大値が所定値kを超えたとき、この最大ピークに対応
するピッチを典型的なピッチPtとして登録する。ま
た、この典型的ピッチPtが現フレームのピッチPとな
る。上記自己相関の最大ピーク値が上記所定値kを超え
ない場合には、前フレームのピッチや最大ピーク値の大
きさ等に基づいて、現フレームのピッチPを決定する
が、これを典型的ピッチPtとして登録はしない。この
ときの典型的ピッチPtとしては、既に登録されている
典型的ピッチが用いられる。
【0029】このような各ピッチP、P’、Pt、P
t’及び入力音声レベルLVの値に対して、次のような
条件を定める。(c1)現フレームのピッチPが上記典
型的ピッチPtの2倍近傍の値以上でありかつフレーム
平均レベルLVが所定の閾値LVt1より大きい、(c2)上
記典型的ピッチPtが前フレームの典型的ピッチPt’
より大きくかつ上記現フレームのピッチPが所定の閾値
thp1より大きい、(c3)上記現フレームのピッチPが
前フレームのピッチP’より大きくかつ上記現フレーム
のピッチPが所定の閾値thp2より大きくかつフレーム平
均レベルLVが所定の閾値LVt2より大きい、の3つの条件
(c1)〜(c3)の内の少なくとも1つを満足すると
き、現フレームのピッチPが本来のピッチの2倍となっ
ていると判断している。
t’及び入力音声レベルLVの値に対して、次のような
条件を定める。(c1)現フレームのピッチPが上記典
型的ピッチPtの2倍近傍の値以上でありかつフレーム
平均レベルLVが所定の閾値LVt1より大きい、(c2)上
記典型的ピッチPtが前フレームの典型的ピッチPt’
より大きくかつ上記現フレームのピッチPが所定の閾値
thp1より大きい、(c3)上記現フレームのピッチPが
前フレームのピッチP’より大きくかつ上記現フレーム
のピッチPが所定の閾値thp2より大きくかつフレーム平
均レベルLVが所定の閾値LVt2より大きい、の3つの条件
(c1)〜(c3)の内の少なくとも1つを満足すると
き、現フレームのピッチPが本来のピッチの2倍となっ
ていると判断している。
【0030】具体例として、thp1を60、thp2を100
としたときの上記条件は、(c1)P>PtかつLV>LV
t1、(c2)Pt>Pt’かつP>60(=thp1)、
(c3)P>1.5P’かつP>100(=thp2)かつ
LV>LVt2となり、これらのいずれかが成立した場合、現
在検出されているピッチPの半分のピッチP/2が本来
のピッチであると判断する。
としたときの上記条件は、(c1)P>PtかつLV>LV
t1、(c2)Pt>Pt’かつP>60(=thp1)、
(c3)P>1.5P’かつP>100(=thp2)かつ
LV>LVt2となり、これらのいずれかが成立した場合、現
在検出されているピッチPの半分のピッチP/2が本来
のピッチであると判断する。
【0031】なお、上記3条件(c1)〜(c3)のい
ずれかが成立しかつP>1.5P’が成立している場
合、次のフレームでの上記条件P>1.5P’は、現フ
レームの同条件を継承し、真となる。逆に、上記3条件
(c1)〜(c3)の全てが成立しない場合、上記条件
P>1.5P’は偽となり、次のフレームでは新たにP
とP’とにより条件P>1.5P’の判定を行う。
ずれかが成立しかつP>1.5P’が成立している場
合、次のフレームでの上記条件P>1.5P’は、現フ
レームの同条件を継承し、真となる。逆に、上記3条件
(c1)〜(c3)の全てが成立しない場合、上記条件
P>1.5P’は偽となり、次のフレームでは新たにP
とP’とにより条件P>1.5P’の判定を行う。
【0032】このPかP/2かの判定結果は、P、P/
2選択部26に送られており、このP、P/2選択部2
6では、後述する高精度(ファイン)ピッチサーチ部1
6からのピッチデータについて、そのまま伝送するか、
半分(P/2)にして伝送するかを選択している。
2選択部26に送られており、このP、P/2選択部2
6では、後述する高精度(ファイン)ピッチサーチ部1
6からのピッチデータについて、そのまま伝送するか、
半分(P/2)にして伝送するかを選択している。
【0033】高精度(ファイン)ピッチサーチ部16に
は、ピッチ抽出部13で抽出された整数(インテジャ
ー)値の粗(ラフ)ピッチデータと、直交変換部15に
より例えばFFTされた周波数軸上のデータとが供給さ
れている。この高精度ピッチサーチ部16では、上記粗
ピッチデータ値を中心に、0.2〜0.5きざみで±数サン
プルずつ振って、最適な小数点付き(フローティング)
のファインピッチデータの値へ追い込む。このときのフ
ァインサーチの手法として、いわゆる合成による分析
(Analysis by Synthesis)法を用い、合成されたパワー
スペクトルが原音のパワースペクトルに最も近くなるよ
うにピッチを選んでいる。
は、ピッチ抽出部13で抽出された整数(インテジャ
ー)値の粗(ラフ)ピッチデータと、直交変換部15に
より例えばFFTされた周波数軸上のデータとが供給さ
れている。この高精度ピッチサーチ部16では、上記粗
ピッチデータ値を中心に、0.2〜0.5きざみで±数サン
プルずつ振って、最適な小数点付き(フローティング)
のファインピッチデータの値へ追い込む。このときのフ
ァインサーチの手法として、いわゆる合成による分析
(Analysis by Synthesis)法を用い、合成されたパワー
スペクトルが原音のパワースペクトルに最も近くなるよ
うにピッチを選んでいる。
【0034】このピッチのファインサーチについて説明
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(4) と表現するようなモデルを想定している。ここで、Jは
ωs /4π=fs /2に対応し、サンプリング周波数f
s =ωs /2πが例えば8kHzのときには4kHzに対応
する。上記(4)式中において、周波数軸上のスペクト
ルデータS(j) が図5のAに示すような波形のとき、H
(j) は、図5のBに示すように、元のスペクトルデータ
S(j) のスペクトル包絡線(エンベロープ)を示し、E
(j) は、図5のCに示すような等レベルで周期的な励起
信号(エクサイテイション)のスペクトルを示してい
る。すなわち、FFTスペクトルS(j) は、スペクトル
エンベロープH(j) と励起信号のパワースペクトル|E
(j) |との積としてモデル化される。
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(4) と表現するようなモデルを想定している。ここで、Jは
ωs /4π=fs /2に対応し、サンプリング周波数f
s =ωs /2πが例えば8kHzのときには4kHzに対応
する。上記(4)式中において、周波数軸上のスペクト
ルデータS(j) が図5のAに示すような波形のとき、H
(j) は、図5のBに示すように、元のスペクトルデータ
S(j) のスペクトル包絡線(エンベロープ)を示し、E
(j) は、図5のCに示すような等レベルで周期的な励起
信号(エクサイテイション)のスペクトルを示してい
る。すなわち、FFTスペクトルS(j) は、スペクトル
エンベロープH(j) と励起信号のパワースペクトル|E
(j) |との積としてモデル化される。
【0035】上記励起信号のパワースペクトル|E(j)
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図4に示すよ
うな256サンプルのハミング窓関数に1792サンプ
ル分の0データを付加(0詰め)した波形を時間軸信号
と見なしてFFTし、得られた周波数軸上のある帯域幅
を持つインパルス波形を上記ピッチに応じて切り出すこ
とにより形成することができる。
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図4に示すよ
うな256サンプルのハミング窓関数に1792サンプ
ル分の0データを付加(0詰め)した波形を時間軸信号
と見なしてFFTし、得られた周波数軸上のある帯域幅
を持つインパルス波形を上記ピッチに応じて切り出すこ
とにより形成することができる。
【0036】次に、上記ピッチに応じて分割された各バ
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
【0037】
【数1】
【0038】で表せる。このエラーεm を最小化するよ
うな|Am |は、
うな|Am |は、
【0039】
【数2】
【0040】となり、この(6)式の|Am |のとき、
エラーεm を最小化する。
エラーεm を最小化する。
【0041】このような振幅|Am |を各バンド毎に求
め、得られた各振幅|Am |を用いて上記(5)式で定
義された各バンド毎のエラーεm を求める。次に、この
ような各バンド毎のエラーεm の全バンドの総和値Σε
m を求める。さらに、このような全バンドのエラー総和
値Σεm を、いくつかの微小に異なるピッチについて求
め、エラー総和値Σεm が最小となるようなピッチを求
める。
め、得られた各振幅|Am |を用いて上記(5)式で定
義された各バンド毎のエラーεm を求める。次に、この
ような各バンド毎のエラーεm の全バンドの総和値Σε
m を求める。さらに、このような全バンドのエラー総和
値Σεm を、いくつかの微小に異なるピッチについて求
め、エラー総和値Σεm が最小となるようなピッチを求
める。
【0042】すなわち、上記ピッチ抽出部13で求めら
れたラフピッチを中心として、例えば 0.25 きざみで上
下に数種類ずつ用意する。これらの複数種類の微小に異
なるピッチの各ピッチに対してそれぞれ上記エラー総和
値Σεm を求める。この場合、ピッチが定まるとバンド
幅が決まり、上記(6)式より、周波数軸上データのパ
ワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(5)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部で最適のファイン(例えば 0.25 きざみ)ピッチが求
められ、この最適ピッチに対応する振幅|Am |が決定
される。このときの振幅値の計算は、有声音の振幅評価
部18Vにおいて行われる。
れたラフピッチを中心として、例えば 0.25 きざみで上
下に数種類ずつ用意する。これらの複数種類の微小に異
なるピッチの各ピッチに対してそれぞれ上記エラー総和
値Σεm を求める。この場合、ピッチが定まるとバンド
幅が決まり、上記(6)式より、周波数軸上データのパ
ワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(5)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部で最適のファイン(例えば 0.25 きざみ)ピッチが求
められ、この最適ピッチに対応する振幅|Am |が決定
される。このときの振幅値の計算は、有声音の振幅評価
部18Vにおいて行われる。
【0043】以上ピッチのファインサーチの説明におい
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
【0044】上記高精度ピッチサーチ部16からの最適
ピッチ及び振幅評価部(有声音)18Vからの振幅|A
m |のデータは、有声音/無声音判別部17に送られ、
上記各バンド毎に有声音/無声音の判別が行われる。こ
の判別のためにNSR(ノイズtoシグナル比)を利用
する。すなわち、第mバンドのNSRであるNSR
mは、
ピッチ及び振幅評価部(有声音)18Vからの振幅|A
m |のデータは、有声音/無声音判別部17に送られ、
上記各バンド毎に有声音/無声音の判別が行われる。こ
の判別のためにNSR(ノイズtoシグナル比)を利用
する。すなわち、第mバンドのNSRであるNSR
mは、
【0045】
【数3】
【0046】と表せ、このNSRm が所定の閾値Th1
(例えばTh1 =0.2)より大のとき(すなわちエラー
が大きいとき)には、そのバンドでの|Am ||E(j)
|による|S(j) |の近似が良くない(上記励起信号|
E(j) |が基底として不適当である)と判断でき、当該
バンドをUV(Unvoiced、無声音)と判別する。これ以
外のときは、近似がある程度良好に行われていると判断
でき、そのバンドをV(Voiced、有声音)と判別する。
(例えばTh1 =0.2)より大のとき(すなわちエラー
が大きいとき)には、そのバンドでの|Am ||E(j)
|による|S(j) |の近似が良くない(上記励起信号|
E(j) |が基底として不適当である)と判断でき、当該
バンドをUV(Unvoiced、無声音)と判別する。これ以
外のときは、近似がある程度良好に行われていると判断
でき、そのバンドをV(Voiced、有声音)と判別する。
【0047】ところで、上述したように基本ピッチ周波
数で分割されたバンドの数(ハーモニックスの数)は、
声の高低(ピッチの大小)によって約8〜63程度の範
囲で変動するため、各バンド毎のV/UVフラグの個数
も同様に変動してしまう。
数で分割されたバンドの数(ハーモニックスの数)は、
声の高低(ピッチの大小)によって約8〜63程度の範
囲で変動するため、各バンド毎のV/UVフラグの個数
も同様に変動してしまう。
【0048】そこで、本実施例においては、固定的な周
波数帯域で分割した一定個数のバンド毎にV/UV判別
結果をまとめる(あるいは縮退させる)ようにしてい
る。具体的には、音声帯域を含む所定帯域(例えば0〜
4000Hz)をNB 個(例えば12個)のバンドに分割
し、各バンド内の上記NSR値に従って、例えば重み付
き平均値を所定の閾値Th2 (例えばTh2 =0.2)で
弁別して、当該バンドのV/UVを判断している。
波数帯域で分割した一定個数のバンド毎にV/UV判別
結果をまとめる(あるいは縮退させる)ようにしてい
る。具体的には、音声帯域を含む所定帯域(例えば0〜
4000Hz)をNB 個(例えば12個)のバンドに分割
し、各バンド内の上記NSR値に従って、例えば重み付
き平均値を所定の閾値Th2 (例えばTh2 =0.2)で
弁別して、当該バンドのV/UVを判断している。
【0049】次に、無声音の振幅評価部18Uには、直
交変換部15からの周波数軸上データ、ピッチサーチ部
16からのファインピッチデータ、有声音振幅評価部1
8Vからの振幅|Am |のデータ、及び上記有声音/無
声音判別部17からのV/UV(有声音/無声音)判別
データが供給されている。この振幅評価部(無声音)1
8Uでは、有声音/無声音判別部17において無声音
(UV)と判別されたバンドに関して、再度振幅を求め
て(振幅再評価を行って)いる。このUVのバンドにつ
いての振幅|Am |UVは、
交変換部15からの周波数軸上データ、ピッチサーチ部
16からのファインピッチデータ、有声音振幅評価部1
8Vからの振幅|Am |のデータ、及び上記有声音/無
声音判別部17からのV/UV(有声音/無声音)判別
データが供給されている。この振幅評価部(無声音)1
8Uでは、有声音/無声音判別部17において無声音
(UV)と判別されたバンドに関して、再度振幅を求め
て(振幅再評価を行って)いる。このUVのバンドにつ
いての振幅|Am |UVは、
【0050】
【数4】
【0051】にて求められる。
【0052】この振幅評価部(無声音)18Uからのデ
ータは、データ数変換(一種のサンプリングレート変
換)部19に送られる。このデータ数変換部19は、上
記ピッチに応じて周波数軸上での分割帯域数が異なり、
データ数(特に振幅データの数)が異なることを考慮し
て、一定の個数にするためのものである。すなわち、例
えば有効帯域を3400kHzまでとすると、この有効帯
域が上記ピッチに応じて、8バンド〜63バンドに分割
されることになり、これらの各バンド毎に得られる上記
振幅|Am |(UVバンドの振幅|Am |UVも含む)デ
ータの個数mMX+1も8〜63と変化することになる。
このためデータ数変換部19では、この可変個数mMX+
1の振幅データを一定個数M(例えば44個)のデータ
に変換している。
ータは、データ数変換(一種のサンプリングレート変
換)部19に送られる。このデータ数変換部19は、上
記ピッチに応じて周波数軸上での分割帯域数が異なり、
データ数(特に振幅データの数)が異なることを考慮し
て、一定の個数にするためのものである。すなわち、例
えば有効帯域を3400kHzまでとすると、この有効帯
域が上記ピッチに応じて、8バンド〜63バンドに分割
されることになり、これらの各バンド毎に得られる上記
振幅|Am |(UVバンドの振幅|Am |UVも含む)デ
ータの個数mMX+1も8〜63と変化することになる。
このためデータ数変換部19では、この可変個数mMX+
1の振幅データを一定個数M(例えば44個)のデータ
に変換している。
【0053】ここで、本実施例においては、例えば、周
波数軸上の有効帯域1ブロック分の振幅データに対し
て、ブロック内の最後のデータからブロック内の最初の
データまでの値を補間するようなダミーデータを付加し
てデータ個数をNF 個に拡大した後、帯域制限型のOS
倍(例えば8倍)のオーバーサンプリングを施すことに
よりOS 倍の個数の振幅データを求め、このOS 倍の個
数((mMX+1)×OS個)の振幅データを直線補間し
てさらに多くのNM 個(例えば2048個)に拡張し、
このNM 個のデータを間引いて上記一定個数M(例えば
44個)のデータに変換している。
波数軸上の有効帯域1ブロック分の振幅データに対し
て、ブロック内の最後のデータからブロック内の最初の
データまでの値を補間するようなダミーデータを付加し
てデータ個数をNF 個に拡大した後、帯域制限型のOS
倍(例えば8倍)のオーバーサンプリングを施すことに
よりOS 倍の個数の振幅データを求め、このOS 倍の個
数((mMX+1)×OS個)の振幅データを直線補間し
てさらに多くのNM 個(例えば2048個)に拡張し、
このNM 個のデータを間引いて上記一定個数M(例えば
44個)のデータに変換している。
【0054】このデータ数変換部19からのデータ(上
記一定個数M個の振幅データ)がベクトル量子化部20
に送られて、所定個数のデータ毎にまとめられてベクト
ルとされ、ベクトル量子化が施される。ベクトル量子化
部20からの量子化出力データ(の主要部)は、上記高
精度のピッチサーチ部16から上記P、P/2選択部2
6を介して得られた高精度(ファイン)ピッチデータ及
び上記有声音/無声音判別部17からの有声音/無声音
(V/UV)判別データと共に、符号化部21に送られ
て符号化される。
記一定個数M個の振幅データ)がベクトル量子化部20
に送られて、所定個数のデータ毎にまとめられてベクト
ルとされ、ベクトル量子化が施される。ベクトル量子化
部20からの量子化出力データ(の主要部)は、上記高
精度のピッチサーチ部16から上記P、P/2選択部2
6を介して得られた高精度(ファイン)ピッチデータ及
び上記有声音/無声音判別部17からの有声音/無声音
(V/UV)判別データと共に、符号化部21に送られ
て符号化される。
【0055】なお、これらの各データは、上記Nサンプ
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。また、上記有声音/無声音判別部17からの
V/UV判別データについては、上述したように、必要
に応じて12バンド程度に低減(縮退)され、全バンド
中で1箇所以下の有声音(V)領域と無声音(UV)領
域との区分位置を有すると共に、所定条件を満足する場
合に低域側のV(有声音)が高域側にまで拡張されたV
/UV判別データパターンを表すものである。
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。また、上記有声音/無声音判別部17からの
V/UV判別データについては、上述したように、必要
に応じて12バンド程度に低減(縮退)され、全バンド
中で1箇所以下の有声音(V)領域と無声音(UV)領
域との区分位置を有すると共に、所定条件を満足する場
合に低域側のV(有声音)が高域側にまで拡張されたV
/UV判別データパターンを表すものである。
【0056】ここで、P、P/2選択部26は、上述し
たような条件(c1)〜(c3)のいずれか1つが成立
し、現在検出されているピッチPの半分のピッチP/2
が本来のピッチであると判断されたとき、高精度ピッチ
サーチ部16からのピッチデータPを1/2にし(P/
2)、これを符号化部21に送るようにしている。
たような条件(c1)〜(c3)のいずれか1つが成立
し、現在検出されているピッチPの半分のピッチP/2
が本来のピッチであると判断されたとき、高精度ピッチ
サーチ部16からのピッチデータPを1/2にし(P/
2)、これを符号化部21に送るようにしている。
【0057】このような半分のピッチP/2を伝送する
理由について説明すると、先ず上記条件(c1)〜(c
3)の1つが成立するときには、時間波形においては、
図6のAに示すように、ピッチPに対応するピークとピ
ークとの間に小さなピークがあると解釈できる。この図
6のAに対応する図6のBのスペクトルに対してピッチ
Pで分析を行った場合、前述したようにベクトル量子化
して伝送し、逆量子化した後の合成音においては、図6
のC、Dに示すように、上記小ピークが消滅し、その代
わりにエネルギが全てピッチPのピークに集中してしま
うことになる。従って、この小ピークを再現するため
に、上記Pを半分(P/2)にして用いるものである。
理由について説明すると、先ず上記条件(c1)〜(c
3)の1つが成立するときには、時間波形においては、
図6のAに示すように、ピッチPに対応するピークとピ
ークとの間に小さなピークがあると解釈できる。この図
6のAに対応する図6のBのスペクトルに対してピッチ
Pで分析を行った場合、前述したようにベクトル量子化
して伝送し、逆量子化した後の合成音においては、図6
のC、Dに示すように、上記小ピークが消滅し、その代
わりにエネルギが全てピッチPのピークに集中してしま
うことになる。従って、この小ピークを再現するため
に、上記Pを半分(P/2)にして用いるものである。
【0058】ここで注意すべきことは、ピッチPをP/
2に変更するタイミングである。すなわち、上記V/U
Vの判別を行う前にこの置き換えをしてしまうと、本来
の(オリジナル)スペクトルと基底(ベース)スペクト
ルのマッチングをとる際に、谷間のピークを含めての評
価となるため、殆どがUV(無声音)と判断されてしま
うからである。例えば、図7はピッチPに対応する角周
波数ω0 でバンド分割してV/UV判別を行う場合の音
声パワースペクトルの具体例を示し、各バンド(少なく
ともω5 まで)は全てV(有声音)と判別されている。
これに対して、P/2に対応する角周波数2ω0 でバン
ド分割してV/UV判別を行うと、図8に示すようにU
V(無声音)と判別されてしまう。これらの図7、図8
において、実線がオリジナルスペクトルを、破線がベー
ススペクトルをそれぞれ示している。
2に変更するタイミングである。すなわち、上記V/U
Vの判別を行う前にこの置き換えをしてしまうと、本来
の(オリジナル)スペクトルと基底(ベース)スペクト
ルのマッチングをとる際に、谷間のピークを含めての評
価となるため、殆どがUV(無声音)と判断されてしま
うからである。例えば、図7はピッチPに対応する角周
波数ω0 でバンド分割してV/UV判別を行う場合の音
声パワースペクトルの具体例を示し、各バンド(少なく
ともω5 まで)は全てV(有声音)と判別されている。
これに対して、P/2に対応する角周波数2ω0 でバン
ド分割してV/UV判別を行うと、図8に示すようにU
V(無声音)と判別されてしまう。これらの図7、図8
において、実線がオリジナルスペクトルを、破線がベー
ススペクトルをそれぞれ示している。
【0059】従って、一旦元のPのままでV/UV判別
を行い、量子化を施した後、分析の最終段にてPをP/
2に置き換え、これを合成側に伝送する。図1の例で
は、有声音/無声音(V/UV)判別部17やベクトル
量子化部20では、高精度ピッチサーチ部16からのピ
ッチデータ(P)をそのまま用いて処理を行っており、
これらの系とは別に、高精度ピッチサーチ部16からの
ピッチデータをP、P/2選択部26に送って上記条件
成立時にのみP/2に置き換えて符号化部21に送って
いるため、何ら問題はない。
を行い、量子化を施した後、分析の最終段にてPをP/
2に置き換え、これを合成側に伝送する。図1の例で
は、有声音/無声音(V/UV)判別部17やベクトル
量子化部20では、高精度ピッチサーチ部16からのピ
ッチデータ(P)をそのまま用いて処理を行っており、
これらの系とは別に、高精度ピッチサーチ部16からの
ピッチデータをP、P/2選択部26に送って上記条件
成立時にのみP/2に置き換えて符号化部21に送って
いるため、何ら問題はない。
【0060】上記符号化部21においては、例えばCR
C付加及びレート1/2畳み込み符号付加処理が施され
る。すなわち、上記ピッチデータ、上記有声音/無声音
(V/UV)判別データ、及び上記量子化出力データの
内の重要なデータについてはCRC誤り訂正符号化が施
された後、畳み込み符号化が施される。符号化部21か
らの符号化出力データは、フレームインターリーブ部2
2に送られ、ベクトル量子化部20からの一部(例えば
重要度の低い)データと共にインターリーブ処理され
て、出力端子23から取り出され、合成側(デコード
側)に伝送(あるいは記録再生)される。
C付加及びレート1/2畳み込み符号付加処理が施され
る。すなわち、上記ピッチデータ、上記有声音/無声音
(V/UV)判別データ、及び上記量子化出力データの
内の重要なデータについてはCRC誤り訂正符号化が施
された後、畳み込み符号化が施される。符号化部21か
らの符号化出力データは、フレームインターリーブ部2
2に送られ、ベクトル量子化部20からの一部(例えば
重要度の低い)データと共にインターリーブ処理され
て、出力端子23から取り出され、合成側(デコード
側)に伝送(あるいは記録再生)される。
【0061】以上のように、一定話者の発声の中でピッ
チが瞬間的に2倍になったことの判断は、上記(c1)
〜(c3)のような比較的単純な条件判断で行え、また
倍のピッチであると判断されたときには、高精度ピッチ
サーチ部16からのピッチデータ(P)を半分のデータ
(P/2)に置き換えて伝送するだけで済むため、処理
が簡単であり、実時間処理が容易である。
チが瞬間的に2倍になったことの判断は、上記(c1)
〜(c3)のような比較的単純な条件判断で行え、また
倍のピッチであると判断されたときには、高精度ピッチ
サーチ部16からのピッチデータ(P)を半分のデータ
(P/2)に置き換えて伝送するだけで済むため、処理
が簡単であり、実時間処理が容易である。
【0062】次に、伝送されて(あるいは記録再生され
て)得られた上記各データに基づき音声信号を合成する
ための合成側(デコード側)の概略構成について、図9
を参照しながら説明する。
て)得られた上記各データに基づき音声信号を合成する
ための合成側(デコード側)の概略構成について、図9
を参照しながら説明する。
【0063】この図9において、入力端子31には、上
記図1に示すエンコーダ側の出力端子23から取り出さ
れたデータ信号に略々等しい(伝送や記録再生による信
号劣化を無視して)データ信号が供給される。この入力
端子31からのデータは、フレームデインターリーブ部
32に送られて、上記図1のインターリーブ処理の逆処
理となるデインターリーブ処理が施され、主要部(エン
コーダ側でCRC及び畳み込み符号化された部分で、一
般に重要度の高いデータ部分)は復号化部33で復号化
処理されてバッドフレームマスク処理部34に、残部
(符号化処理の施されていない重要度の低いもの)はそ
のままバッドフレームマスク処理部34に、それぞれ送
られる。復号化部33においては、例えばいわゆるビタ
ビ復号化処理やCRCチェックコードを用いたエラー検
出処理が施される。バッドフレームマスク処理部34
は、エラーの多いフレームのパラメータを補間で求める
ような処理を行うと共に、上記ピッチデータ、有声音/
無声音(V/UV)データ、及びベクトル量子化された
振幅データを分離して取り出す。
記図1に示すエンコーダ側の出力端子23から取り出さ
れたデータ信号に略々等しい(伝送や記録再生による信
号劣化を無視して)データ信号が供給される。この入力
端子31からのデータは、フレームデインターリーブ部
32に送られて、上記図1のインターリーブ処理の逆処
理となるデインターリーブ処理が施され、主要部(エン
コーダ側でCRC及び畳み込み符号化された部分で、一
般に重要度の高いデータ部分)は復号化部33で復号化
処理されてバッドフレームマスク処理部34に、残部
(符号化処理の施されていない重要度の低いもの)はそ
のままバッドフレームマスク処理部34に、それぞれ送
られる。復号化部33においては、例えばいわゆるビタ
ビ復号化処理やCRCチェックコードを用いたエラー検
出処理が施される。バッドフレームマスク処理部34
は、エラーの多いフレームのパラメータを補間で求める
ような処理を行うと共に、上記ピッチデータ、有声音/
無声音(V/UV)データ、及びベクトル量子化された
振幅データを分離して取り出す。
【0064】ここで、上記ピッチデータは、上述したよ
うに、図1の高精度ピッチサーチ部16から上記P、P
/2選択部26を介して得られたデータであり、通常時
は高精度ピッチサーチ部16からのピッチPが、また上
記条件(c1)〜(c3)のいずれか1つが成立すると
きにはP/2がそれぞれ伝送されて、バッドフレームマ
スク処理部34からピッチデータとして取り出される。
うに、図1の高精度ピッチサーチ部16から上記P、P
/2選択部26を介して得られたデータであり、通常時
は高精度ピッチサーチ部16からのピッチPが、また上
記条件(c1)〜(c3)のいずれか1つが成立すると
きにはP/2がそれぞれ伝送されて、バッドフレームマ
スク処理部34からピッチデータとして取り出される。
【0065】バッドフレームマスク処理部34からの上
記ベクトル量子化された振幅データは、逆ベクトル量子
化部35に送られて逆量子化され、データ数逆変換部3
6に送られて逆変換される。このデータ数逆変換部36
では、上述した図1のデータ数変換部19と対照的な逆
変換が行われ、得られた振幅データが有声音合成部37
及び無声音合成部38に送られる。マスク処理部34か
らの上記ピッチデータは、有声音合成部37及び無声音
合成部38に送られる。またマスク処理部34からの上
記V/UV判別データも、有声音合成部37及び無声音
合成部38に送られる。
記ベクトル量子化された振幅データは、逆ベクトル量子
化部35に送られて逆量子化され、データ数逆変換部3
6に送られて逆変換される。このデータ数逆変換部36
では、上述した図1のデータ数変換部19と対照的な逆
変換が行われ、得られた振幅データが有声音合成部37
及び無声音合成部38に送られる。マスク処理部34か
らの上記ピッチデータは、有声音合成部37及び無声音
合成部38に送られる。またマスク処理部34からの上
記V/UV判別データも、有声音合成部37及び無声音
合成部38に送られる。
【0066】有声音合成部37では例えば余弦(cosine)
波合成により時間軸上の有声音波形を合成し、無声音合
成部38では例えばホワイトノイズをバンドパスフィル
タでフィルタリングして時間軸上の無声音波形を合成
し、これらの各有声音合成波形と無声音合成波形とを加
算部41で加算合成して、出力端子42より取り出すよ
うにしている。この場合、上記振幅データ、ピッチデー
タ及びV/UV判別データは、上記分析時の1フレーム
(Lサンプル、例えば160サンプル)毎に更新されて
与えられるが、フレーム間の連続性を高める(円滑化す
る)ために、上記振幅データやピッチデータの各値を1
フレーム中の例えば中心位置における各データ値とし、
次のフレームの中心位置までの間(合成時の1フレー
ム)の各データ値を補間により求める。すなわち、合成
時の1フレーム(例えば上記分析フレームの中心から次
の分析フレームの中心まで)において、先端サンプル点
での各データ値と終端(次の合成フレームの先端)サン
プル点での各データ値とが与えられ、これらのサンプル
点間の各データ値を補間により求めるようにしている。
波合成により時間軸上の有声音波形を合成し、無声音合
成部38では例えばホワイトノイズをバンドパスフィル
タでフィルタリングして時間軸上の無声音波形を合成
し、これらの各有声音合成波形と無声音合成波形とを加
算部41で加算合成して、出力端子42より取り出すよ
うにしている。この場合、上記振幅データ、ピッチデー
タ及びV/UV判別データは、上記分析時の1フレーム
(Lサンプル、例えば160サンプル)毎に更新されて
与えられるが、フレーム間の連続性を高める(円滑化す
る)ために、上記振幅データやピッチデータの各値を1
フレーム中の例えば中心位置における各データ値とし、
次のフレームの中心位置までの間(合成時の1フレー
ム)の各データ値を補間により求める。すなわち、合成
時の1フレーム(例えば上記分析フレームの中心から次
の分析フレームの中心まで)において、先端サンプル点
での各データ値と終端(次の合成フレームの先端)サン
プル点での各データ値とが与えられ、これらのサンプル
点間の各データ値を補間により求めるようにしている。
【0067】また、V/UV判別データに応じて全バン
ドを1箇所の区分位置で有声音(V)領域と無声音(U
V)領域とに区分することができ、この区分に応じて、
各バンド毎のV/UV判別データを得ることができる。
この区分位置については、上述したように、低域側のV
が高域側に拡張されていることがある。ここで、分析側
(エンコーダ側)で一定数(例えば12程度)のバンド
に低減(縮退)されている場合には、これを解いて(復
元して)、元のピッチに応じた間隔で可変個数のバンド
とすることは勿論である。
ドを1箇所の区分位置で有声音(V)領域と無声音(U
V)領域とに区分することができ、この区分に応じて、
各バンド毎のV/UV判別データを得ることができる。
この区分位置については、上述したように、低域側のV
が高域側に拡張されていることがある。ここで、分析側
(エンコーダ側)で一定数(例えば12程度)のバンド
に低減(縮退)されている場合には、これを解いて(復
元して)、元のピッチに応じた間隔で可変個数のバンド
とすることは勿論である。
【0068】以下、有声音合成部37における合成処理
を詳細に説明する。上記V(有声音)と判別された第m
バンド(第m高調波の帯域)における時間軸上の上記1
合成フレーム(Lサンプル、例えば160サンプル)分
の有声音をVm (n) とするとき、この合成フレーム内の
時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(9) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
を詳細に説明する。上記V(有声音)と判別された第m
バンド(第m高調波の帯域)における時間軸上の上記1
合成フレーム(Lサンプル、例えば160サンプル)分
の有声音をVm (n) とするとき、この合成フレーム内の
時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(9) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
【0069】この(9)式中のAm (n) は、上記合成フ
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(10) の式によりAm (n) を計算すればよい。
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(10) の式によりAm (n) を計算すればよい。
【0070】次に、上記(9)式中の位相θm (n) は、 θm (n) =mωO1n+n2 m(ωL1−ω01)/2L+φ0m+Δωn ・・・(11) により求めることができる。この(11)式中で、φ0mは
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(11)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(11)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
【0071】以下、任意の第mバンドにおいて、それぞ
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。
【0072】第mバンドが、n=0、n=Lのいずれも
V(有声音)とされる場合に、振幅Am (n) は、上述し
た(10)式により、伝送された振幅値A0m、ALmを直線
補間して振幅Am (n) を算出すればよい。位相θm (n)
は、n=0でθm (0) =φ0mからn=Lでθm (L) がφ
LmとなるようにΔωを設定する。
V(有声音)とされる場合に、振幅Am (n) は、上述し
た(10)式により、伝送された振幅値A0m、ALmを直線
補間して振幅Am (n) を算出すればよい。位相θm (n)
は、n=0でθm (0) =φ0mからn=Lでθm (L) がφ
LmとなるようにΔωを設定する。
【0073】次に、n=0のときV(有声音)で、n=
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
【0074】さらに、n=0のときUV(無声音)で、
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(12) とし、かつΔω=0とする。
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(12) とし、かつΔω=0とする。
【0075】上記n=0、n=LのいずれもV(有声
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(11)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(13) となる。この(13)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(11)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(13) となる。この(13)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
【0076】以下、無声音合成部38における無声音合
成処理を説明する。ホワイトノイズ発生部43からの時
間軸上のホワイトノイズ信号波形を窓かけ処理部44に
送って、所定の長さ(例えば256サンプル)で適当な
窓関数(例えばハミング窓)により窓かけをし、STF
T処理部45によりSTFT(ショートタームフーリエ
変換)処理を施すことにより、ホワイトノイズの周波数
軸上のパワースペクトルを得る。このSTFT処理部4
5からのパワースペクトルをバンド振幅処理部46に送
り、上記UV(無声音)とされたバンドについて上記振
幅|Am |UVを乗算し、他のV(有声音)とされたバン
ドの振幅を0にする。このバンド振幅処理部46には上
記振幅データ、ピッチデータ、V/UV判別データが供
給されている。
成処理を説明する。ホワイトノイズ発生部43からの時
間軸上のホワイトノイズ信号波形を窓かけ処理部44に
送って、所定の長さ(例えば256サンプル)で適当な
窓関数(例えばハミング窓)により窓かけをし、STF
T処理部45によりSTFT(ショートタームフーリエ
変換)処理を施すことにより、ホワイトノイズの周波数
軸上のパワースペクトルを得る。このSTFT処理部4
5からのパワースペクトルをバンド振幅処理部46に送
り、上記UV(無声音)とされたバンドについて上記振
幅|Am |UVを乗算し、他のV(有声音)とされたバン
ドの振幅を0にする。このバンド振幅処理部46には上
記振幅データ、ピッチデータ、V/UV判別データが供
給されている。
【0077】バンド振幅処理部46からの出力は、IS
TFT処理部47に送られ、位相は元のホワイトノイズ
の位相を用いて逆STFT処理を施すことにより時間軸
上の信号に変換する。ISTFT処理部47からの出力
は、オーバーラップ加算部48に送られ、時間軸上で適
当な(元の連続的なノイズ波形を復元できるように)重
み付けをしながらオーバーラップ及び加算を繰り返し、
連続的な時間軸波形を合成する。このオーバーラップ加
算部48からの出力信号が上記加算部41に送られる。
TFT処理部47に送られ、位相は元のホワイトノイズ
の位相を用いて逆STFT処理を施すことにより時間軸
上の信号に変換する。ISTFT処理部47からの出力
は、オーバーラップ加算部48に送られ、時間軸上で適
当な(元の連続的なノイズ波形を復元できるように)重
み付けをしながらオーバーラップ及び加算を繰り返し、
連続的な時間軸波形を合成する。このオーバーラップ加
算部48からの出力信号が上記加算部41に送られる。
【0078】このように、各合成部37、38において
合成されて時間軸上に戻された有声音部及び無声音部の
各信号は、加算部41により適当な固定の混合比で加算
して、出力端子42より再生された音声信号を取り出
す。
合成されて時間軸上に戻された有声音部及び無声音部の
各信号は、加算部41により適当な固定の混合比で加算
して、出力端子42より再生された音声信号を取り出
す。
【0079】なお、本発明は上記実施例のみに限定され
るものではなく、例えば、上記図1の音声分析側(エン
コード側)の構成や図9の音声合成側(デコード側)の
構成については、各部をハードウェア的に記載している
が、いわゆるDSP(ディジタル信号プロセッサ)等を
用いてソフトウェアプログラムにより実現することも可
能である。また、上記高調波(ハーモニクス)毎のバン
ドをまとめて(縮退させて)一定個数のバンドにするこ
とは、必要に応じて行えばよく、縮退バンド数も12バ
ンドに限定されない。また、全バンドを1箇所以下の区
分位置で低域側V領域と高域側UV領域とに分割する処
理も必要に応じて行えばよく、行わなくともよい。さら
に、本発明が適用されるものは上記マルチバンド励起音
声分析/合成方法に限定されず、サイン波合成を用いる
種々の音声分析/合成方法に容易に適用でき、また、用
途としても、信号の伝送や記録再生のみならず、ピッチ
変換や、スピード変換や、雑音抑制等の種々の用途に応
用できるものである。
るものではなく、例えば、上記図1の音声分析側(エン
コード側)の構成や図9の音声合成側(デコード側)の
構成については、各部をハードウェア的に記載している
が、いわゆるDSP(ディジタル信号プロセッサ)等を
用いてソフトウェアプログラムにより実現することも可
能である。また、上記高調波(ハーモニクス)毎のバン
ドをまとめて(縮退させて)一定個数のバンドにするこ
とは、必要に応じて行えばよく、縮退バンド数も12バ
ンドに限定されない。また、全バンドを1箇所以下の区
分位置で低域側V領域と高域側UV領域とに分割する処
理も必要に応じて行えばよく、行わなくともよい。さら
に、本発明が適用されるものは上記マルチバンド励起音
声分析/合成方法に限定されず、サイン波合成を用いる
種々の音声分析/合成方法に容易に適用でき、また、用
途としても、信号の伝送や記録再生のみならず、ピッチ
変換や、スピード変換や、雑音抑制等の種々の用途に応
用できるものである。
【0080】
【発明の効果】以上の説明から明らかなように、本発明
に係るピッチ検出方法によれば、音声分析の際の音声の
基本周期に相当するピッチを検出するピッチ検出方法に
おいて、入力音声信号を時間軸上でブロック単位で区分
する工程と、この区分された各ブロックの信号毎に発声
者が固有に有する典型的ピッチPtと現在ブロックのピ
ッチPとをそれぞれ検出する工程と、(c1)上記現在
ブロックのピッチPが上記典型的ピッチPtの2倍近傍
の値以上でありかつブロック平均レベルLVが所定の閾値
LVt1より大きい、(c2)上記典型的ピッチPtが前ブ
ロックでの典型的ピッチPt’より大きくかつ上記現在
ブロックのピッチPが所定の閾値thp1より大きい、(c
3)上記現在ブロックのピッチPが前ブロックのピッチ
P’より大きくかつ上記現在ブロックのピッチPが所定
の閾値thp2より大きくかつブロック平均レベルLVが所定
の閾値LVt2より大きい、の3つの条件(c1)〜(c
3)の内の少なくとも1つを満足するとき、現在ブロッ
クのピッチPが本来のピッチの倍となっていると判断す
る倍ピッチ判断工程とを有しているため、本来のピッチ
とさらにその2倍のピッチが同程度含まれているような
音声か否かの判別が確実に行え、このような状態が生じ
たときの対処を有効にとることができる。
に係るピッチ検出方法によれば、音声分析の際の音声の
基本周期に相当するピッチを検出するピッチ検出方法に
おいて、入力音声信号を時間軸上でブロック単位で区分
する工程と、この区分された各ブロックの信号毎に発声
者が固有に有する典型的ピッチPtと現在ブロックのピ
ッチPとをそれぞれ検出する工程と、(c1)上記現在
ブロックのピッチPが上記典型的ピッチPtの2倍近傍
の値以上でありかつブロック平均レベルLVが所定の閾値
LVt1より大きい、(c2)上記典型的ピッチPtが前ブ
ロックでの典型的ピッチPt’より大きくかつ上記現在
ブロックのピッチPが所定の閾値thp1より大きい、(c
3)上記現在ブロックのピッチPが前ブロックのピッチ
P’より大きくかつ上記現在ブロックのピッチPが所定
の閾値thp2より大きくかつブロック平均レベルLVが所定
の閾値LVt2より大きい、の3つの条件(c1)〜(c
3)の内の少なくとも1つを満足するとき、現在ブロッ
クのピッチPが本来のピッチの倍となっていると判断す
る倍ピッチ判断工程とを有しているため、本来のピッチ
とさらにその2倍のピッチが同程度含まれているような
音声か否かの判別が確実に行え、このような状態が生じ
たときの対処を有効にとることができる。
【0081】また、本発明に係る音声分析合成方法によ
れば、上記ピッチ検出方法の倍ピッチ判断工程によって
現在ブロックのピッチPが本来のピッチの倍となってい
ると判別されたとき、P/2をピッチデータとして音声
合成を行わせているため、2倍のピッチによる分析・合
成にて生じるエネルギの強い集中をピッチを半分にして
行うことで緩和させ、合成音声の品質を高めることがで
きる。また、通常の処理に比較して、単純な条件判断処
理と、PをP/2に置き換えるだけの簡単な処理を付加
するだけで済むため、実時間処理が容易に行える。
れば、上記ピッチ検出方法の倍ピッチ判断工程によって
現在ブロックのピッチPが本来のピッチの倍となってい
ると判別されたとき、P/2をピッチデータとして音声
合成を行わせているため、2倍のピッチによる分析・合
成にて生じるエネルギの強い集中をピッチを半分にして
行うことで緩和させ、合成音声の品質を高めることがで
きる。また、通常の処理に比較して、単純な条件判断処
理と、PをP/2に置き換えるだけの簡単な処理を付加
するだけで済むため、実時間処理が容易に行える。
【図1】本発明に係るピッチ検出方法が適用される音声
分析合成方法の具体例としての音声信号の分析/合成符
号化装置の分析側(エンコード側)の概略構成を示す機
能ブロック図である。
分析合成方法の具体例としての音声信号の分析/合成符
号化装置の分析側(エンコード側)の概略構成を示す機
能ブロック図である。
【図2】窓かけ処理を説明するための図である。
【図3】窓かけ処理と窓関数との関係を説明するための
図である。
図である。
【図4】直交変換(FFT)処理対象としての時間軸デ
ータを示す図である。
ータを示す図である。
【図5】周波数軸上のスペクトルデータ、スペクトル包
絡線(エンベロープ)及び励起信号のパワースペクトル
を示す図である。
絡線(エンベロープ)及び励起信号のパワースペクトル
を示す図である。
【図6】倍ピッチによるエネルギの集中を説明するため
の図である。
の図である。
【図7】ピッチPに対応する角周波数ω0 でバンド分割
したときのV/UV判別を説明するための図である。
したときのV/UV判別を説明するための図である。
【図8】ピッチPに対応する角周波数ω0 でバンド分割
したときのV/UV判別を説明するための図である。
したときのV/UV判別を説明するための図である。
【図9】本発明に係るピッチ検出方法が適用される音声
分析合成方法の具体例としての音声信号の分析/合成符
号化装置の合成側(デコード側)の概略構成を示す機能
ブロック図である。
分析合成方法の具体例としての音声信号の分析/合成符
号化装置の合成側(デコード側)の概略構成を示す機能
ブロック図である。
【図10】2倍ピッチ成分を有する音声パワースペクト
ルを示す図である。
ルを示す図である。
【図11】図10のスペクトル構造を有する信号をベク
トル量子化し、逆量子化して得られた信号のパワースペ
クトルを示す図である。
トル量子化し、逆量子化して得られた信号のパワースペ
クトルを示す図である。
13・・・・・ピッチ抽出部 14・・・・・窓かけ処理部 15・・・・・直交変換(FFT)部 16・・・・・高精度(ファイン)ピッチサーチ部 17・・・・・有声音/無声音(V/UV)判別部 18V・・・・・有声音の振幅評価部 18U・・・・・無声音の振幅評価部 19・・・・・データ数変換(データレートコンバー
ト)部 20・・・・・ベクトル量子化部 26・・・・・P、P/2選択部 37・・・・・有声音合成部 38・・・・・無声音合成部
ト)部 20・・・・・ベクトル量子化部 26・・・・・P、P/2選択部 37・・・・・有声音合成部 38・・・・・無声音合成部
Claims (3)
- 【請求項1】 音声分析の際の音声の基本周期に相当す
るピッチを検出するピッチ検出方法において、 入力音声信号を時間軸上でブロック単位で区分する工程
と、 この区分された各ブロックの信号毎に発声者が固有に有
する典型的ピッチPtと現在ブロックのピッチPとをそ
れぞれ検出する工程と、 (c1)上記現在ブロックのピッチPが上記典型的ピッ
チPtの2倍近傍の値以上でありかつブロック平均レベ
ルLVが所定の閾値LVt1より大きい、 (c2)上記典型的ピッチPtが前ブロックでの典型的
ピッチPt’より大きくかつ上記現在ブロックのピッチ
Pが所定の閾値thp1より大きい、 (c3)上記現在ブロックのピッチPが前ブロックのピ
ッチP’より大きくかつ上記現在ブロックのピッチPが
所定の閾値thp2より大きくかつブロック平均レベルLVが
所定の閾値LVt2より大きい、の3つの条件(c1)〜
(c3)の内の少なくとも1つを満足するとき、現在ブ
ロックのピッチPが本来のピッチの倍となっていると判
断する工程とを有することを特徴とするピッチ検出方
法。 - 【請求項2】 入力音声信号を時間軸上でブロック単位
で区分し、各ブロック毎に音声の基本周期に相当するピ
ッチを検出し、このピッチに基づいて各ブロック単位で
音声信号を分析し、この分析結果に基づいて音声信号を
合成する音声信号の分析合成方法において、 上記ピッチ検出は、 上記各ブロックの信号毎に発声者が固有に有する典型的
ピッチPtと現在ブロックのピッチPとをそれぞれ検出
する工程と、 (c1)上記現在ブロックのピッチPが上記典型的ピッ
チPtの2倍近傍の値以上でありかつブロック平均レベ
ルLVが所定の閾値LVt1より大きい、 (c2)上記典型的ピッチPtが前ブロックでの典型的
ピッチPt’より大きくかつ上記現在ブロックのピッチ
Pが所定の閾値thp1より大きい、 (c3)上記現在ブロックのピッチPが前ブロックのピ
ッチP’より大きくかつ上記現在ブロックのピッチPが
所定の閾値thp2より大きくかつブロック平均レベルLVが
所定の閾値LVt2より大きい、の3つの条件(c1)〜
(c3)の内の少なくとも1つを満足するとき、現在ブ
ロックのピッチPが本来のピッチの倍となっていると判
断する工程とを有してなり、 このピッチ検出の際の倍ピッチ判断工程にて上記現在ブ
ロックのピッチPが本来のピッチの倍となっていると判
断されたときには、上記ピッチPの半分のピッチP/2
に基づいて合成を行うことを特徴とする音声分析合成方
法。 - 【請求項3】 上記音声信号の分析の際には、上記現在
ブロックのピッチPに基づいて上記入力信号をバンド分
割し、この分割されたバンド毎に有声音/無声音の判別
を行うことを特徴とする請求項2記載の音声分析合成方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24575793A JPH07104777A (ja) | 1993-09-30 | 1993-09-30 | ピッチ検出方法及び音声分析合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24575793A JPH07104777A (ja) | 1993-09-30 | 1993-09-30 | ピッチ検出方法及び音声分析合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07104777A true JPH07104777A (ja) | 1995-04-21 |
Family
ID=17138351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24575793A Withdrawn JPH07104777A (ja) | 1993-09-30 | 1993-09-30 | ピッチ検出方法及び音声分析合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07104777A (ja) |
-
1993
- 1993-09-30 JP JP24575793A patent/JPH07104777A/ja not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3475446B2 (ja) | 符号化方法 | |
| JP3277398B2 (ja) | 有声音判別方法 | |
| KR100427753B1 (ko) | 음성신호재생방법및장치,음성복호화방법및장치,음성합성방법및장치와휴대용무선단말장치 | |
| JP3680374B2 (ja) | 音声合成方法 | |
| McLoughlin et al. | LSP-based speech modification for intelligibility enhancement | |
| JP3297751B2 (ja) | データ数変換方法、符号化装置及び復号化装置 | |
| JP3297749B2 (ja) | 符号化方法 | |
| JP3362471B2 (ja) | 音声信号の符号化方法及び復号化方法 | |
| JP3237178B2 (ja) | 符号化方法及び復号化方法 | |
| JP3218679B2 (ja) | 高能率符号化方法 | |
| JP3321933B2 (ja) | ピッチ検出方法 | |
| JP3218681B2 (ja) | 背景雑音検出方法及び高能率符号化方法 | |
| JP3297750B2 (ja) | 符号化方法 | |
| JP3271193B2 (ja) | 音声符号化方法 | |
| JPH0651800A (ja) | データ数変換方法 | |
| JP3223564B2 (ja) | ピッチ抽出方法 | |
| JP3398968B2 (ja) | 音声分析合成方法 | |
| JPH07104777A (ja) | ピッチ検出方法及び音声分析合成方法 | |
| Kassim et al. | Compressive sensing based low bit rate speech encoder | |
| JP3221050B2 (ja) | 有声音判別方法 | |
| JP3218680B2 (ja) | 有声音合成方法 | |
| JPH06202695A (ja) | 音声信号処理装置 | |
| JP2003216189A (ja) | 符号化装置及び復号装置 | |
| JPH07104793A (ja) | 音声信号の符号化装置及び復号化装置 | |
| JPH0744194A (ja) | 高能率符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20001226 |