JP3190231B2 - 有声音信号のピッチ周期抽出装置およびピッチ周期抽出方法 - Google Patents
有声音信号のピッチ周期抽出装置およびピッチ周期抽出方法Info
- Publication number
- JP3190231B2 JP3190231B2 JP20470195A JP20470195A JP3190231B2 JP 3190231 B2 JP3190231 B2 JP 3190231B2 JP 20470195 A JP20470195 A JP 20470195A JP 20470195 A JP20470195 A JP 20470195A JP 3190231 B2 JP3190231 B2 JP 3190231B2
- Authority
- JP
- Japan
- Prior art keywords
- voiced sound
- sound signal
- pitch period
- peak
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000005236 sound signal Effects 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000000903 blocking effect Effects 0.000 claims description 7
- 230000000630 rising effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000001914 filtration Methods 0.000 description 9
- 238000003672 processing method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、音声信号のピッチ
周期抽出装置およびピッチ周期方法に係わり、特に時間
領域で処理することの可能な有声音信号のピッチ周期抽
出装置およびピッチ周期方法に関する。
周期抽出装置およびピッチ周期方法に係わり、特に時間
領域で処理することの可能な有声音信号のピッチ周期抽
出装置およびピッチ周期方法に関する。
【０００２】
【従来の技術】近年音声認識装置あるいは音声合成装置
の実用化が進められているが、音声または楽音からいわ
ゆるピッチ周期の抽出は基本技術の１つとして重要であ
る。ピッチ周期の抽出方法は従来から各種の手法が提案
されているが、波形処理法、スペクトル処理法および相
関処理法に大別される。
の実用化が進められているが、音声または楽音からいわ
ゆるピッチ周期の抽出は基本技術の１つとして重要であ
る。ピッチ周期の抽出方法は従来から各種の手法が提案
されているが、波形処理法、スペクトル処理法および相
関処理法に大別される。
【０００３】波形処理法としては並列処理法、データ減
少法および零交差法があり、スペクトル処理法としては
ケプストラム分析法があり、相関処理法としては自己相
関法あるいは線形予測残信号法が周知である。
少法および零交差法があり、スペクトル処理法としては
ケプストラム分析法があり、相関処理法としては自己相
関法あるいは線形予測残信号法が周知である。
【０００４】
【発明が解決しようとする課題】しかしながら上記提案
にかかるピッチ周期の抽出方法は、ほとんどが周波数領
域での抽出方法であり、ＦＦＴ等により音声信号を周波
数領域に変換するために高速かつ多量の演算が必要とな
る。従ってピッチ周期抽出装置としては、大規模かつ高
価なものとなることを避けることができない。
にかかるピッチ周期の抽出方法は、ほとんどが周波数領
域での抽出方法であり、ＦＦＴ等により音声信号を周波
数領域に変換するために高速かつ多量の演算が必要とな
る。従ってピッチ周期抽出装置としては、大規模かつ高
価なものとなることを避けることができない。
【０００５】本発明は上記課題に鑑みなされたものであ
って、時間領域の処理でほぼ実時間でかつ簡易にピッチ
周期を抽出することの可能なピッチ周期抽出装置および
ピッチ周期方法を提供することを目的とする。
って、時間領域の処理でほぼ実時間でかつ簡易にピッチ
周期を抽出することの可能なピッチ周期抽出装置および
ピッチ周期方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】請求項１にかかるピッチ
周期抽出装置は、有声音信号を時系列データとして取り
込む有声音取り込み手段と、有声音取り込み手段によっ
て取り込まれた有声音信号の所定のしきい値の一方の領
域に存在するピークを検出するピーク検出手段と、有声
音取り込み手段によって取り込まれた有声音信号の所定
のしきい値の他方の領域に存在する極値を検出する極値
検出手段と、ピーク検出手段で検出されたピーク値の極
性を反転し極値検出手段で検出された極値に加算してク
ランプ処理を実行するクランプ処理手段と、クランプ処
理手段においてクランプ処理された有声音信号に基づい
てピッチ周期を抽出するピッチ周期抽出手段と、を具備
する。
周期抽出装置は、有声音信号を時系列データとして取り
込む有声音取り込み手段と、有声音取り込み手段によっ
て取り込まれた有声音信号の所定のしきい値の一方の領
域に存在するピークを検出するピーク検出手段と、有声
音取り込み手段によって取り込まれた有声音信号の所定
のしきい値の他方の領域に存在する極値を検出する極値
検出手段と、ピーク検出手段で検出されたピーク値の極
性を反転し極値検出手段で検出された極値に加算してク
ランプ処理を実行するクランプ処理手段と、クランプ処
理手段においてクランプ処理された有声音信号に基づい
てピッチ周期を抽出するピッチ周期抽出手段と、を具備
する。
【０００７】請求項２にかかるピッチ周期抽出装置は、
ピッチ周期抽出手段が、クランプ処理手段においてクラ
ンプ処理された有声音信号を検波処理する検波手段と、
検波手段によって検波された波形を微分処理する微分処
理手段と、からなる。請求項３にかかるピッチ周期抽出
装置は、ピーク検出手段の前段に一般人の音声のピッチ
周期より短い周期を有する有声音信号の通過を遮断する
遮断手段をさらに具備する。
ピッチ周期抽出手段が、クランプ処理手段においてクラ
ンプ処理された有声音信号を検波処理する検波手段と、
検波手段によって検波された波形を微分処理する微分処
理手段と、からなる。請求項３にかかるピッチ周期抽出
装置は、ピーク検出手段の前段に一般人の音声のピッチ
周期より短い周期を有する有声音信号の通過を遮断する
遮断手段をさらに具備する。
【０００８】請求項４にかかるピッチ周期抽出装置は、
ピーク検出手段の前段に、有声音取り込み手段によって
取り込まれた有声音信号の立ち上がりの振幅が小かつ立
ち下がりの振幅が小であるときに有声音信号にＡＧＣ処
理を施すＡＧＣ処理手段をさらに具備する。請求項５に
かかるピッチ周期抽出装置は、ピーク検出手段の前段
に、遮断手段およびＡＧＣ処理手段の両方を具備する。
ピーク検出手段の前段に、有声音取り込み手段によって
取り込まれた有声音信号の立ち上がりの振幅が小かつ立
ち下がりの振幅が小であるときに有声音信号にＡＧＣ処
理を施すＡＧＣ処理手段をさらに具備する。請求項５に
かかるピッチ周期抽出装置は、ピーク検出手段の前段
に、遮断手段およびＡＧＣ処理手段の両方を具備する。
【０００９】請求項６にかかるピッチ周期抽出装置は、
ピーク検出手段が所定のしきい値からさらに一方の領域
の所定幅外側の一方の領域に存在するピークを検出する
ものであり、極値検出手段が所定のしきい値からさらに
他方の領域の所定幅外側の他方の領域に存在する極値を
検出するものである。請求項７にかかる周期抽出方法
は、有声音信号を時系列データとして取り込む有声音取
り込み段階と、有声音取り込み段階によって取り込まれ
た有声音信号の所定のしきい値の一方の領域に存在する
ピークを検出するピーク検出段階と、有声音取り込み段
階によって取り込まれた有声音信号の所定のしきい値の
他方の領域に存在する極値を検出する極値検出段階と、
ピーク検出段階で検出されたピーク値の極性を反転し極
値検出段階で検出された極値に加算してクランプ処理を
実行するクランプ処理段階と、クランプ処理段階におい
てクランプ処理された有声音信号に基づいてピッチ周期
を抽出するピッチ周期抽出段階と、を具備する。
ピーク検出手段が所定のしきい値からさらに一方の領域
の所定幅外側の一方の領域に存在するピークを検出する
ものであり、極値検出手段が所定のしきい値からさらに
他方の領域の所定幅外側の他方の領域に存在する極値を
検出するものである。請求項７にかかる周期抽出方法
は、有声音信号を時系列データとして取り込む有声音取
り込み段階と、有声音取り込み段階によって取り込まれ
た有声音信号の所定のしきい値の一方の領域に存在する
ピークを検出するピーク検出段階と、有声音取り込み段
階によって取り込まれた有声音信号の所定のしきい値の
他方の領域に存在する極値を検出する極値検出段階と、
ピーク検出段階で検出されたピーク値の極性を反転し極
値検出段階で検出された極値に加算してクランプ処理を
実行するクランプ処理段階と、クランプ処理段階におい
てクランプ処理された有声音信号に基づいてピッチ周期
を抽出するピッチ周期抽出段階と、を具備する。
【００１０】請求項８にかかる周期抽出方法は、ピッチ
周期抽出段階が、クランプ処理段階においてクランプ処
理された有声音信号を検波処理する検波段階と、検波段
階によって検波された波形を微分処理する微分処理段階
と、からなる。請求項９にかかる周期抽出方法は、ピー
ク検出段階の実行に先立ち一般人の音声のピッチ周期よ
り短い周期を有する有声音信号の通過を遮断する遮断段
階をさらに実行する。
周期抽出段階が、クランプ処理段階においてクランプ処
理された有声音信号を検波処理する検波段階と、検波段
階によって検波された波形を微分処理する微分処理段階
と、からなる。請求項９にかかる周期抽出方法は、ピー
ク検出段階の実行に先立ち一般人の音声のピッチ周期よ
り短い周期を有する有声音信号の通過を遮断する遮断段
階をさらに実行する。
【００１１】請求項１０にかかる周期抽出方法は、ピー
ク検出段階の実行に先立ち有声音取り込み段階によって
取り込まれた有声音信号の立ち上がりの振幅が小かつ振
幅が小であるときに有声音信号にＡＧＣ処理を施すＡＧ
Ｃ処理段階をさらに実行する。請求項１１にかかる周期
抽出方法は、ピーク検出段階の実行に先立ち遮断段階お
よびＡＧＣ処理段階の両方を実行する。
ク検出段階の実行に先立ち有声音取り込み段階によって
取り込まれた有声音信号の立ち上がりの振幅が小かつ振
幅が小であるときに有声音信号にＡＧＣ処理を施すＡＧ
Ｃ処理段階をさらに実行する。請求項１１にかかる周期
抽出方法は、ピーク検出段階の実行に先立ち遮断段階お
よびＡＧＣ処理段階の両方を実行する。
【００１２】請求項１２にかかる周期抽出方法は、ピー
ク検出段階が、所定のしきい値からさらに一方の領域の
所定幅外側の一方の領域に存在するピークを検出するも
のであり、極値検出段階が、所定のしきい値からさらに
他方の領域の所定幅外側の他方の領域に存在する極値を
検出するものである。
ク検出段階が、所定のしきい値からさらに一方の領域の
所定幅外側の一方の領域に存在するピークを検出するも
のであり、極値検出段階が、所定のしきい値からさらに
他方の領域の所定幅外側の他方の領域に存在する極値を
検出するものである。
【００１３】
【発明の実施の形態】図１は本発明にかかるピッチ周期
抽出装置の構成図であって、マイクロフォン１１によっ
て電気信号に変換された有声音はラインアンプ１２を介
してマイクロコンピュータ１３に取り込まれる。マイク
ロコンピュータ１３はデータバス１３１を中心として、
ＣＰＵ１３２、メモリ１３３、Ａ／Ｄ変換器１３４およ
び出力インターフェイス１３５から構成されている。
抽出装置の構成図であって、マイクロフォン１１によっ
て電気信号に変換された有声音はラインアンプ１２を介
してマイクロコンピュータ１３に取り込まれる。マイク
ロコンピュータ１３はデータバス１３１を中心として、
ＣＰＵ１３２、メモリ１３３、Ａ／Ｄ変換器１３４およ
び出力インターフェイス１３５から構成されている。
【００１４】抽出されたピッチ周期は、出力インターフ
ェイス１３５を介して例えばプリンタである出力装置１
４に出力される。図２はマイクロコンピュータ１３１で
実行される第１のピッチ周期抽出ルーチンのフローチャ
ートであって、ステップ２１においてマイクロフォン１
１で集音した有声音信号Ｓを読み込む。なお有声音信号
Ｓは、ラインアンプ１２によって０ボルトを中心として
正負に振動する信号として読み込まれるようにバイアス
されているものとする。
ェイス１３５を介して例えばプリンタである出力装置１
４に出力される。図２はマイクロコンピュータ１３１で
実行される第１のピッチ周期抽出ルーチンのフローチャ
ートであって、ステップ２１においてマイクロフォン１
１で集音した有声音信号Ｓを読み込む。なお有声音信号
Ｓは、ラインアンプ１２によって０ボルトを中心として
正負に振動する信号として読み込まれるようにバイアス
されているものとする。
【００１５】ステップ２２においてピーク検出処理を実
行し、ステップ２３において極値検出・クランプ処理を
実行する。さらにステップ２４においてピッチ周期検出
処理を行った後、ステップ２５でピッチ周期を出力して
このルーチンを終了する。図３はステップ２２で実行さ
れるピーク検出処理の詳細フローチャートであって、ス
テップ２２１において有声音信号Ｓに正領域でピークが
検出されたか否かを判定する。
行し、ステップ２３において極値検出・クランプ処理を
実行する。さらにステップ２４においてピッチ周期検出
処理を行った後、ステップ２５でピッチ周期を出力して
このルーチンを終了する。図３はステップ２２で実行さ
れるピーク検出処理の詳細フローチャートであって、ス
テップ２２１において有声音信号Ｓに正領域でピークが
検出されたか否かを判定する。
【００１６】ステップ２２１で肯定判定された場合、即
ちピークが検出された場合はステップ２２２に進み正方
向のピーク値をＰとして記憶してこのルーチンを終了す
る。ステップ２２１で否定判定された場合、即ちピーク
が検出されない場合は直接このルーチンを終了する。図
４はステップ２３において実行される極値検出・クラン
プ処理ルーチンの詳細フローチャートであって、ステッ
プ２３１において有声音信号Ｓに負領域で極値が検出さ
れたか否かを判定する。
ちピークが検出された場合はステップ２２２に進み正方
向のピーク値をＰとして記憶してこのルーチンを終了す
る。ステップ２２１で否定判定された場合、即ちピーク
が検出されない場合は直接このルーチンを終了する。図
４はステップ２３において実行される極値検出・クラン
プ処理ルーチンの詳細フローチャートであって、ステッ
プ２３１において有声音信号Ｓに負領域で極値が検出さ
れたか否かを判定する。
【００１７】ステップ２３１で肯定判定された場合、即
ち極値が検出された場合はステップ２３２に進み、有声
音信号Ｓからピーク値Ｐを減算した値を処理値Ｘに設定
してこのルーチンを終了する。ステップ２３１で否定判
定された場合、即ち極値が検出されない場合はステップ
２３３に進み、有声音信号Ｓを処理値Ｘとしてこのルー
チンを終了する。
ち極値が検出された場合はステップ２３２に進み、有声
音信号Ｓからピーク値Ｐを減算した値を処理値Ｘに設定
してこのルーチンを終了する。ステップ２３１で否定判
定された場合、即ち極値が検出されない場合はステップ
２３３に進み、有声音信号Ｓを処理値Ｘとしてこのルー
チンを終了する。
【００１８】図５はステップ２４において実行されるピ
ッチ周期検出処理の詳細フローチャートであって、ステ
ップ２４１において検波出力Ｙ’を次式により更新す
る。 Ｙ’＝Ｅ・ｅｘｐ（−Δｔ／τ） ここでΔｔはサンプリング時間、τは予め定められた時
定数である。なおＥについては後述する。
ッチ周期検出処理の詳細フローチャートであって、ステ
ップ２４１において検波出力Ｙ’を次式により更新す
る。 Ｙ’＝Ｅ・ｅｘｐ（−Δｔ／τ） ここでΔｔはサンプリング時間、τは予め定められた時
定数である。なおＥについては後述する。
【００１９】ステップ２４２において処理値Ｘの絶対値
が検波出力Ｙ’の絶対値より大であるか否かを判定す
る。ステップ２４２で否定判定された場合、即ち処理値
Ｘにピークが検出されない場合はステップ２４３に進
み、検波出力Ｙ’をＥに設定してステップ２４６に進
む。
が検波出力Ｙ’の絶対値より大であるか否かを判定す
る。ステップ２４２で否定判定された場合、即ち処理値
Ｘにピークが検出されない場合はステップ２４３に進
み、検波出力Ｙ’をＥに設定してステップ２４６に進
む。
【００２０】ステップ２４２で肯定判定された場合はス
テップ２４４に進み、有声音信号Ｓに負領域で極値が検
出されたか否かを判定する。ステップ２４４で肯定判定
された場合はステップ２４５で処理値ＸをＥに設定し、
ステップ２４６に進む。なおステップ２４４で否定判定
された場合はステップ２４３に進む。
テップ２４４に進み、有声音信号Ｓに負領域で極値が検
出されたか否かを判定する。ステップ２４４で肯定判定
された場合はステップ２４５で処理値ＸをＥに設定し、
ステップ２４６に進む。なおステップ２４４で否定判定
された場合はステップ２４３に進む。
【００２１】ステップ２４６においてＥとして記憶され
ていた値を検波出力Ｙに設定し、ステップ２４７で次式
により検波出力Ｙを微分する。 Ｑ＝（Ｙ−ＹＢ）／Δｔ ステップ２４８において次回の演算に備え、検波出力Ｙ
を前回検波出力ＹＢに置き換えてこの処理を終了する。
ていた値を検波出力Ｙに設定し、ステップ２４７で次式
により検波出力Ｙを微分する。 Ｑ＝（Ｙ−ＹＢ）／Δｔ ステップ２４８において次回の演算に備え、検波出力Ｙ
を前回検波出力ＹＢに置き換えてこの処理を終了する。
【００２２】即ちその絶対値が予め定めた所定値より大
きい微分値Ｑの周期を計測することによりピッチ周期を
検出することが可能となる。図６はステップ２２の前段
で実行される一般人の音声ピッチ周期より短い周期を有
する有声音信号に対してフィルタリング処理を行う理由
の説明図であって、（イ）および（ロ）に示すように正
領域にあるピークａあるいは負領域にあるピークｂを確
実に検出するためには中間にある極値ｃを確実に除去す
ることが必要となる。
きい微分値Ｑの周期を計測することによりピッチ周期を
検出することが可能となる。図６はステップ２２の前段
で実行される一般人の音声ピッチ周期より短い周期を有
する有声音信号に対してフィルタリング処理を行う理由
の説明図であって、（イ）および（ロ）に示すように正
領域にあるピークａあるいは負領域にあるピークｂを確
実に検出するためには中間にある極値ｃを確実に除去す
ることが必要となる。
【００２３】そこで本発明においては正領域にあるピー
クａおよび正領域にあるピークａ以後にある負領域の極
小値、即ち（ロ）におけるｃを検出し、ピークａの極性
を反転して負領域の極小値に加算される。この処理によ
れば、図６（ハ）に示すような正負振幅が同一である場
合にも確実にフィルタリング処理を行うことが可能とな
る。
クａおよび正領域にあるピークａ以後にある負領域の極
小値、即ち（ロ）におけるｃを検出し、ピークａの極性
を反転して負領域の極小値に加算される。この処理によ
れば、図６（ハ）に示すような正負振幅が同一である場
合にも確実にフィルタリング処理を行うことが可能とな
る。
【００２４】図７から図１０は第１のピッチ周期抽出ル
ーチンによる有声音処理の波形図であって、図７はマイ
クロフォン１１で集音した有声音の波形図である。図８
はクランプ処理後の波形図であって、時刻ｔ1 、ｔ3 お
よびｔ5 でピーク値Ｐが検出され、時刻ｔ2 、ｔ4 およ
びｔ6 で検出された極値に極性が反転されたピーク値Ｐ
が加算されてフィルタリング処理がなされる。
ーチンによる有声音処理の波形図であって、図７はマイ
クロフォン１１で集音した有声音の波形図である。図８
はクランプ処理後の波形図であって、時刻ｔ1 、ｔ3 お
よびｔ5 でピーク値Ｐが検出され、時刻ｔ2 、ｔ4 およ
びｔ6 で検出された極値に極性が反転されたピーク値Ｐ
が加算されてフィルタリング処理がなされる。
【００２５】図９は検波処理後の波形図、図１０は微分
処理後の波形図であって、微分処理後のパルスの周期を
計測することによってピッチ周期を計測することができ
る。第１のピッチ周期抽出ルーチンによっても、図６
（ロ）に示すように負領域の極小値の絶対値が小さい時
にはフィルタリング処理によって十分に極値を強調する
ことができない。
処理後の波形図であって、微分処理後のパルスの周期を
計測することによってピッチ周期を計測することができ
る。第１のピッチ周期抽出ルーチンによっても、図６
（ロ）に示すように負領域の極小値の絶対値が小さい時
にはフィルタリング処理によって十分に極値を強調する
ことができない。
【００２６】この課題を解決するためには有声音をフィ
ルタリング処理して短周期の有声音を除去することが有
効である。図１１は第２のピッチ周期抽出ルーチンのフ
ローチャートであって、第１のピッチ周期抽出ルーチン
のステップ２１とステップ２２の間にフィルタリング処
理１１１が挿入される。
ルタリング処理して短周期の有声音を除去することが有
効である。図１１は第２のピッチ周期抽出ルーチンのフ
ローチャートであって、第１のピッチ周期抽出ルーチン
のステップ２１とステップ２２の間にフィルタリング処
理１１１が挿入される。
【００２７】なおこのフィルタリング処理には、周知の
ローパス特性を有するディジタルフィルタを使用するこ
とが可能である。なお遮断周波数は一般人のピッチ周波
数である３００〜４００Ｈｚ以上の信号を遮断するよう
に設定することが好ましい。図１２はフィルタリング処
理の効果の説明図であって、（イ）は処理前の波形を、
（ロ）は処理後の波形を示している。
ローパス特性を有するディジタルフィルタを使用するこ
とが可能である。なお遮断周波数は一般人のピッチ周波
数である３００〜４００Ｈｚ以上の信号を遮断するよう
に設定することが好ましい。図１２はフィルタリング処
理の効果の説明図であって、（イ）は処理前の波形を、
（ロ）は処理後の波形を示している。
【００２８】第１および第２のピッチ周期抽出ルーチン
によれば所定値以上の振幅の有声音であればピッチ周期
を抽出することが可能であるが、振幅が小さい場合には
抽出されたピッチ周期の精度が劣化する場合がある。図
１３はこの課題を解決するためのＡＧＣ処理を追加した
第３のピッチ周期抽出ルーチンのフローチャートであっ
て、第１のピッチ周期抽出ルーチンのステップ２１とス
テップ２２の間にＡＧＣ処理１３１が挿入される。
によれば所定値以上の振幅の有声音であればピッチ周期
を抽出することが可能であるが、振幅が小さい場合には
抽出されたピッチ周期の精度が劣化する場合がある。図
１３はこの課題を解決するためのＡＧＣ処理を追加した
第３のピッチ周期抽出ルーチンのフローチャートであっ
て、第１のピッチ周期抽出ルーチンのステップ２１とス
テップ２２の間にＡＧＣ処理１３１が挿入される。
【００２９】図１４はＡＧＣ処理の詳細フローチャート
であって、ステップ１３１Ａにおいて有声音信号Ｓに極
大値であるか否かが判定され、肯定判定されればステッ
プ１３１Ｂにおいて極大値をＳmax として記憶する。さ
らにステップ１３１Ｃにおいて極大値検出後の時間を表
すパラメータｈ設定し、極大値が検出された時間を表す
サンプリング番号ｉをｉmax （ｈ）としてステップ１３
１Ｆに進む。
であって、ステップ１３１Ａにおいて有声音信号Ｓに極
大値であるか否かが判定され、肯定判定されればステッ
プ１３１Ｂにおいて極大値をＳmax として記憶する。さ
らにステップ１３１Ｃにおいて極大値検出後の時間を表
すパラメータｈ設定し、極大値が検出された時間を表す
サンプリング番号ｉをｉmax （ｈ）としてステップ１３
１Ｆに進む。
【００３０】ステップ１３１Ａにおいて否定判定された
場合は、ステップ１３１Ｄに進み有声音信号Ｓに極小値
であるか否かが判定する。ステップ１２１Ｄで肯定判定
されればステップ１３１Ｅにおいて極小値をＳmin とし
て記憶してステップ１３１Ｆに進む。ステップ１３１Ｆ
で次式により有声音信号Ｓの振幅ΔＳを算出する。
場合は、ステップ１３１Ｄに進み有声音信号Ｓに極小値
であるか否かが判定する。ステップ１２１Ｄで肯定判定
されればステップ１３１Ｅにおいて極小値をＳmin とし
て記憶してステップ１３１Ｆに進む。ステップ１３１Ｆ
で次式により有声音信号Ｓの振幅ΔＳを算出する。
【００３１】ΔＳ＝｜Ｓmax −Ｓmin ｜ ステップ１３１Ｇで次式により振幅ΔＳの関数として振
幅の移動平均値ΔＳavを算出してステップ１３１Ｈに進
む。 ΔＳav＝｛（ｎ−１）・ΔＳav＋ΔＳ｝／ｎ なおステップ１３１Ｄにおいて否定判定されたときは直
接ステップ１３１Ｈに進む。
幅の移動平均値ΔＳavを算出してステップ１３１Ｈに進
む。 ΔＳav＝｛（ｎ−１）・ΔＳav＋ΔＳ｝／ｎ なおステップ１３１Ｄにおいて否定判定されたときは直
接ステップ１３１Ｈに進む。
【００３２】ステップ１３１Ｈで次式において振幅の移
動平均値ΔＳavの関数としてＡＧＣゲインＡＧ（ｈ）を
定める。 ＡＧ（ｈ）＝ＡＧ（ΔＳav） 具体的には次式の関数を使用することが可能である。 ＡＧ（ｈ）＝Ａ・ｅｘｐ（−ΔＳav／Ｖ）＋Ｂ ここでＡ、ＶおよびＢは予め定めた定数である。
動平均値ΔＳavの関数としてＡＧＣゲインＡＧ（ｈ）を
定める。 ＡＧ（ｈ）＝ＡＧ（ΔＳav） 具体的には次式の関数を使用することが可能である。 ＡＧ（ｈ）＝Ａ・ｅｘｐ（−ΔＳav／Ｖ）＋Ｂ ここでＡ、ＶおよびＢは予め定めた定数である。
【００３３】図１５はＡＧＣゲインの関数の一例を示す
グラフであって、横軸に振幅の移動平均値ΔＳavを、縦
軸にＡＧＣゲインをとる。このグラフに示すように振幅
の移動平均値ΔＳavの増加に伴ってＡＧＣゲインを急減
する理由は、有声音の飽和特性を補償して均一の振幅と
するためである。ステップ１３１Ｉにおいて極大値検出
後の時間を表すパラメータｈをインクリメントし、ステ
ップ１３１Ｊにおいて現在の時刻を表すサンプリング番
号ｉからＡＧＣゲインの算出時間Δｉだけ遡ったサンプ
リング番号（ｉ−Δｉ）がｉmax（０）に等しいか否か
を判定する。
グラフであって、横軸に振幅の移動平均値ΔＳavを、縦
軸にＡＧＣゲインをとる。このグラフに示すように振幅
の移動平均値ΔＳavの増加に伴ってＡＧＣゲインを急減
する理由は、有声音の飽和特性を補償して均一の振幅と
するためである。ステップ１３１Ｉにおいて極大値検出
後の時間を表すパラメータｈをインクリメントし、ステ
ップ１３１Ｊにおいて現在の時刻を表すサンプリング番
号ｉからＡＧＣゲインの算出時間Δｉだけ遡ったサンプ
リング番号（ｉ−Δｉ）がｉmax（０）に等しいか否か
を判定する。
【００３４】ステップ１３１Ｊで肯定判定されたときは
ステップ１３１Ｋに進み、補償ゲインＧをＡＧ（０）に
設定する。その後ステップ１３１ＬでＡＧＣゲインＡＧ
（ｊ）および極大値が検出された時間を表すサンプリン
グ番号ｉmax （ｊ）を次式により一つ前にシフトして、
ステップ１３１Ｍに進む。
ステップ１３１Ｋに進み、補償ゲインＧをＡＧ（０）に
設定する。その後ステップ１３１ＬでＡＧＣゲインＡＧ
（ｊ）および極大値が検出された時間を表すサンプリン
グ番号ｉmax （ｊ）を次式により一つ前にシフトして、
ステップ１３１Ｍに進む。
【００３５】ＡＧ（ｊ−１）＝ＡＧ（ｊ） ｉmax （ｊ−１）＝ｉmax （ｊ） ただしｊ＝１、２・・・ｈ なおステップ１３１Ｊで否定判定されたときは直接ステ
ップ１３１Ｍに進む。ステップ１３１Ｍにおいて次式に
基づきＡＧＣ処理を実行してこのルーチンを終了する。
ップ１３１Ｍに進む。ステップ１３１Ｍにおいて次式に
基づきＡＧＣ処理を実行してこのルーチンを終了する。
【００３６】Ｓ（ｉ）＝Ｇ・Ｓ（ｉ−Δｉ） なお第２のピッチ周期抽出ルーチンで使用したフィルタ
リング処理をステップ１３１のＡＧＣ処理の前段に追加
することも可能である。図１６は第３のピッチ周期抽出
ルーチンによるピッチ周期抽出結果を示すグラフであっ
て、約１５０Ｈｚ近傍にピッチ周期が抽出されている。
リング処理をステップ１３１のＡＧＣ処理の前段に追加
することも可能である。図１６は第３のピッチ周期抽出
ルーチンによるピッチ周期抽出結果を示すグラフであっ
て、約１５０Ｈｚ近傍にピッチ周期が抽出されている。
【００３７】しかし２から２．５秒にかけては、有声音
がないにもかかわらずピッチ周期が広い周波数帶域にわ
たって分布している。これはいわゆる暗騒音の影響であ
ることが判明したため、有声音信号が０ボルトを中心と
する所定幅以内にある場合には有声音信号を強制的に０
ボルトに置き代える処理（以下不感帯処理）を追加する
こととした。
がないにもかかわらずピッチ周期が広い周波数帶域にわ
たって分布している。これはいわゆる暗騒音の影響であ
ることが判明したため、有声音信号が０ボルトを中心と
する所定幅以内にある場合には有声音信号を強制的に０
ボルトに置き代える処理（以下不感帯処理）を追加する
こととした。
【００３８】図１７は第４のピッチ周期抽出ルーチンの
フローチャートであって、第３のピッチ周期抽出ルーチ
ンのステップ２１とステップ１３１の間にステップ１７
１として不感帯処理が挿入される。図１８は不感帯処理
の詳細フローチャートであって、ステップ１７１Ａにお
いて有声音信号Ｓ（ｉ）が所定値ＤＢ以下であるか否か
を判定する。
フローチャートであって、第３のピッチ周期抽出ルーチ
ンのステップ２１とステップ１３１の間にステップ１７
１として不感帯処理が挿入される。図１８は不感帯処理
の詳細フローチャートであって、ステップ１７１Ａにお
いて有声音信号Ｓ（ｉ）が所定値ＤＢ以下であるか否か
を判定する。
【００３９】ステップ１７１Ａにおいて肯定判定された
ときはステップ１７１Ｂに進み、有声音信号Ｓ（ｉ）を
"０" に設定してこの処理を終了する。ステップ１７１
Ａにおいて否定判定されたときはステップ１７１Ｃに進
み、有声音信号Ｓ（ｉ）が所定値−ＤＢ以上であるか否
かを判定する。ステップ１７１Ｃにおいて肯定判定され
たときはステップ１７１Ｄに進み、有声音信号Ｓ（ｉ）
を "０" に設定してこの処理を終了する。
ときはステップ１７１Ｂに進み、有声音信号Ｓ（ｉ）を
"０" に設定してこの処理を終了する。ステップ１７１
Ａにおいて否定判定されたときはステップ１７１Ｃに進
み、有声音信号Ｓ（ｉ）が所定値−ＤＢ以上であるか否
かを判定する。ステップ１７１Ｃにおいて肯定判定され
たときはステップ１７１Ｄに進み、有声音信号Ｓ（ｉ）
を "０" に設定してこの処理を終了する。
【００４０】なおステップ１７１Ｃにおいて否定判定さ
れたときは直接この処理を終了する。図１９は第４のピ
ッチ周期抽出ルーチンによるピッチ周期抽出結果を示す
グラフであって、約１５０Ｈｚ近傍にピッチ周期が抽出
されている。さらに２から２．５秒の有声音がない部分
では、ピッチ周期は検出されていない。
れたときは直接この処理を終了する。図１９は第４のピ
ッチ周期抽出ルーチンによるピッチ周期抽出結果を示す
グラフであって、約１５０Ｈｚ近傍にピッチ周期が抽出
されている。さらに２から２．５秒の有声音がない部分
では、ピッチ周期は検出されていない。
【００４１】
【発明の効果】請求項１にかかるピッチ周期抽出装置お
よび請求項７にかかるピッチ周期抽出方法によれば、一
方の領域にあるピーク値を極性を反転して他方の領域に
ある極値に加算するクランプ処理を施すことによりピッ
チ周期を時間領域でほぼ実時間で検出することが可能と
なる。
よび請求項７にかかるピッチ周期抽出方法によれば、一
方の領域にあるピーク値を極性を反転して他方の領域に
ある極値に加算するクランプ処理を施すことによりピッ
チ周期を時間領域でほぼ実時間で検出することが可能と
なる。
【００４２】請求項２にかかるピッチ周期抽出装置およ
び請求項８にかかるピッチ周期抽出方法によれば、クラ
ンプ処理後の有声音を検波、微分処理してピッチ周期を
抽出することによりピッチ周期を確実に検出することが
可能となる。請求項３にかかるピッチ周期抽出装置およ
び請求項９にかかるピッチ周期抽出方法によれば、一般
人のピッチ周期以上の周期を有する有声音を遮断する遮
断処理を行った後にクランプ処理を実行することにより
極値を確実に検出し、ピッチ周期の検出精度を向上する
ことが可能となる。
び請求項８にかかるピッチ周期抽出方法によれば、クラ
ンプ処理後の有声音を検波、微分処理してピッチ周期を
抽出することによりピッチ周期を確実に検出することが
可能となる。請求項３にかかるピッチ周期抽出装置およ
び請求項９にかかるピッチ周期抽出方法によれば、一般
人のピッチ周期以上の周期を有する有声音を遮断する遮
断処理を行った後にクランプ処理を実行することにより
極値を確実に検出し、ピッチ周期の検出精度を向上する
ことが可能となる。
【００４３】請求項４にかかるピッチ周期抽出装置およ
び請求項１０にかかるピッチ周期抽出方法によれば、有
声音の振幅が小さい場合にはＡＧＣ処理により振幅を増
幅することによりピッチ周期の検出精度を向上すること
が可能となる。請求項５にかかるピッチ周期抽出装置お
よび請求項１１にかかるピッチ周期抽出方法によれば、
ローパスフィルタ処理およびＡＧＣ処理の両方を行うこ
とによりピッチ周期の検出精度を一層向上することが可
能となる。
び請求項１０にかかるピッチ周期抽出方法によれば、有
声音の振幅が小さい場合にはＡＧＣ処理により振幅を増
幅することによりピッチ周期の検出精度を向上すること
が可能となる。請求項５にかかるピッチ周期抽出装置お
よび請求項１１にかかるピッチ周期抽出方法によれば、
ローパスフィルタ処理およびＡＧＣ処理の両方を行うこ
とによりピッチ周期の検出精度を一層向上することが可
能となる。
【００４４】請求項６にかかるピッチ周期抽出装置およ
び請求項１２にかかるピッチ周期抽出方法によれば、所
定の不感帯幅以下の振幅を有する有声音を除去すること
によりピッチ周期の検出精度を向上することが可能とな
る。
び請求項１２にかかるピッチ周期抽出方法によれば、所
定の不感帯幅以下の振幅を有する有声音を除去すること
によりピッチ周期の検出精度を向上することが可能とな
る。
【図１】ピッチ周期抽出装置の構成図である。
【図２】第１のピッチ周期抽出ルーチンのフローチャー
トである。
トである。
【図３】ピーク検出処理の詳細フローチャートである。
【図４】極値検出・クランプ処理の詳細フローチャート
である。
である。
【図５】ピッチ周期検出処理の詳細フローチャートであ
る。
る。
【図６】フィルタリング処理を行う理由の説明図であ
る。
る。
【図７】有声音の波形図である。
【図８】クランプ処理後の波形図である。
【図９】検波処理後の波形図である。
【図１０】微分処理後の波形図である。
【図１１】第２のピッチ周期抽出ルーチンのフローチャ
ートである。
ートである。
【図１２】フィルタリング処理の効果の説明図である。
【図１３】第３のピッチ周期抽出ルーチンのフローチャ
ートである。
ートである。
【図１４】ＡＧＣ処理の詳細フローチャートである。
【図１５】ＡＧＣゲインの関数の一例を示すグラフであ
る。
る。
【図１６】第３のピッチ周期抽出ルーチンによる抽出結
果を示すグラフである。
果を示すグラフである。
【図１７】第４のピッチ周期抽出ルーチンのフローチャ
ートである。
ートである。
【図１８】不感帯処理の詳細フローチャートである。
【図１９】第４のピッチ周期抽出ルーチンによる抽出結
果を示すグラフである。
果を示すグラフである。
【符号の説明】 １１…マイクロフォン １２…ラインアンプ １３…マイクロコンピュータ １３１…データバス １３２…ＣＰＵ １３３…メモリ １３４…Ａ／Ｄ変換器 １３５…出力インターフェイス １４…プリンタ
フロントページの続き (72)発明者 高山 一男 兵庫県神戸市兵庫区御所通１丁目２番28 号 富士通テン株式会社内 (72)発明者 高島 淳行 兵庫県神戸市兵庫区御所通１丁目２番28 号 富士通テン株式会社内 (72)発明者 大和 俊孝 兵庫県神戸市兵庫区御所通１丁目２番28 号 富士通テン株式会社内 (56)参考文献 特開 平２−114300（ＪＰ，Ａ) 特開 昭60−191298（ＪＰ，Ａ) 特開 昭55−55398（ＪＰ，Ａ) 特開 平１−101600（ＪＰ，Ａ) 特開 昭61−26098（ＪＰ，Ａ) 特開 昭64−82098（ＪＰ，Ａ) 実開 昭55−11523（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 11/04
Claims (12)
- 【請求項１】 有声音信号を時系列データとして取り込
む有声音取り込み手段と、 前記有声音取り込み手段によって取り込まれた有声音信
号の所定のしきい値の一方の領域に存在するピークを検
出するピーク検出手段と、 前記有声音取り込み手段によって取り込まれた有声音信
号の所定のしきい値の他方の領域に存在する極値を検出
する極値検出手段と、 前記ピーク検出手段で検出されたピーク値の極性を反転
し、前記極値検出手段で検出された極値に加算してクラ
ンプ処理を実行するクランプ処理手段と、 前記クランプ処理手段においてクランプ処理された有声
音信号に基づいてピッチ周期を抽出するピッチ周期抽出
手段と、を具備する有声音信号のピッチ周期抽出装置。 - 【請求項２】 前記ピッチ周期抽出手段が、 前記クランプ処理手段においてクランプ処理された有声
音信号を検波処理する検波手段と、 前記検波手段によって検波された波形を微分処理する微
分処理手段と、からなる請求項１に記載の有声音信号の
ピッチ周期抽出装置。 - 【請求項３】 前記ピーク検出手段の前段に、一般人の
音声のピッチ周期より短い周期を有する有声音信号の通
過を遮断する遮断手段をさらに具備する請求項１に記載
の有声音信号のピッチ周期抽出装置。 - 【請求項４】 前記ピーク検出手段の前段に、前記有声
音取り込み手段によって取り込まれた有声音信号の立ち
上がりの振幅が小かつ立ち下りの振幅が小であるときに
有声音信号にＡＧＣ処理を施すＡＧＣ処理手段をさらに
具備する請求項１に記載の有声音信号のピッチ周期抽出
装置。 - 【請求項５】 前記ピーク検出手段の前段に、前記遮断
手段および前記ＡＧＣ処理手段の両方を具備する請求項
１に記載の有声音信号のピッチ周期抽出装置。 - 【請求項６】 前記ピーク検出手段が、所定のしきい値
からさらに一方の領域の所定幅外側の一方の領域に存在
するピークを検出するものであり、 前記極値検出手段が、所定のしきい値からさらに他方の
領域の所定幅外側の他方の領域に存在する極値を検出す
るものである請求項１に記載の有声音信号のピッチ周期
抽出装置。 - 【請求項７】 有声音信号を時系列データとして取り込
む有声音取り込み段階と、 前記有声音取り込み段階によって取り込まれた有声音信
号の所定のしきい値の一方の領域に存在するピークを検
出するピーク検出段階と、 前記有声音取り込み段階によって取り込まれた有声音信
号の所定のしきい値の他方の領域に存在する極値を検出
する極値検出段階と、 前記ピーク検出段階で検出されたピーク値の極性を反転
し、前記極値検出段階で検出された極値に加算してクラ
ンプ処理を実行するクランプ処理段階と、 前記クランプ処理段階においてクランプ処理された有声
音信号に基づいてピッチ周期を抽出するピッチ周期抽出
段階と、を具備する有声音信号のピッチ周期抽出方法。 - 【請求項８】 前記ピッチ周期抽出段階が、 前記クランプ処理段階においてクランプ処理された有声
音信号を検波処理する検波段階と、 前記検波段階によって検波された波形を微分処理する微
分処理段階と、からなる請求項７に記載の有声音信号の
ピッチ周期抽出方法。 - 【請求項９】 前記ピーク検出段階の実行に先立ち、一
般人の音声のピッチ周期より短い周期を有する有声音信
号の通過を遮断する遮断段階をさらに実行する請求項７
に記載の有声音信号のピッチ周期抽出方法。 - 【請求項１０】 前記ピーク検出段階の実行に先立ち、
前記有声音取り込み段階によって取り込まれた有声音信
号の立ち上がりの振幅が小かつ振幅が小であるときに有
声音信号にＡＧＣ処理を施すＡＧＣ処理段階をさらに実
行する請求項７に記載の有声音信号のピッチ周期抽出方
法。 - 【請求項１１】 前記ピーク検出段階の実行に先立ち、
前記遮断段階および前記ＡＧＣ処理段階の両方を実行す
る請求項７に記載の有声音信号のピッチ周期抽出方法。 - 【請求項１２】 前記ピーク検出段階が、所定のしきい
値からさらに一方の領域の所定幅外側の一方の領域に存
在するピークを検出するものであり、 前記極値検出段階が、所定のしきい値からさらに他方の
領域の所定幅外側の他方の領域に存在する極値を検出す
るものである請求項７に記載の有声音信号のピッチ周期
抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20470195A JP3190231B2 (ja) | 1995-08-10 | 1995-08-10 | 有声音信号のピッチ周期抽出装置およびピッチ周期抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20470195A JP3190231B2 (ja) | 1995-08-10 | 1995-08-10 | 有声音信号のピッチ周期抽出装置およびピッチ周期抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0950297A JPH0950297A (ja) | 1997-02-18 |
| JP3190231B2 true JP3190231B2 (ja) | 2001-07-23 |
Family
ID=16494887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20470195A Expired - Lifetime JP3190231B2 (ja) | 1995-08-10 | 1995-08-10 | 有声音信号のピッチ周期抽出装置およびピッチ周期抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3190231B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002091470A (ja) * | 2000-09-20 | 2002-03-27 | Fujitsu Ten Ltd | 音声区間検出装置 |
| US7231346B2 (en) | 2003-03-26 | 2007-06-12 | Fujitsu Ten Limited | Speech section detection apparatus |
-
1995
- 1995-08-10 JP JP20470195A patent/JP3190231B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0950297A (ja) | 1997-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100307065B1 (ko) | 음성검출장치 | |
| EP1008140B1 (en) | Waveform-based periodicity detector | |
| KR101444099B1 (ko) | 음성 구간 검출 방법 및 장치 | |
| JPH0990974A (ja) | 信号処理方法 | |
| CN113611330B (zh) | 一种音频检测方法、装置、电子设备及存储介质 | |
| JP3105465B2 (ja) | 音声区間検出方法 | |
| DE60117558D1 (de) | Verfahren zur rauschrobusten klassifikation in der sprachkodierung | |
| Venter et al. | Automatic detection of African elephant (Loxodonta africana) infrasonic vocalisations from recordings | |
| Sorqvist et al. | Kalman filtering for low distortion speech enhancement in mobile communication | |
| CN116312561A (zh) | 一种电力调度系统人员声纹识别鉴权降噪和语音增强方法、系统及装置 | |
| US6470311B1 (en) | Method and apparatus for determining pitch synchronous frames | |
| JP3190231B2 (ja) | 有声音信号のピッチ周期抽出装置およびピッチ周期抽出方法 | |
| JP3354252B2 (ja) | 音声認識装置 | |
| JP2992324B2 (ja) | 音声区間検出方法 | |
| JPH06236195A (ja) | 音声区間検出方法 | |
| US20060178881A1 (en) | Method and apparatus for detecting voice region | |
| KR100345402B1 (ko) | 피치 정보를 이용한 실시간 음성 검출 장치 및 그 방법 | |
| JP2003280678A (ja) | 音声認識装置 | |
| KR0135878B1 (ko) | 음성 데이타 시종점 검출 방법 및 그 장치 | |
| JPH03114100A (ja) | 音声区間検出装置 | |
| JPH09247800A (ja) | 左右音像方向抽出方法 | |
| KR100523905B1 (ko) | 이중화된 검출조건을 이용한 음성 추출 방법 | |
| JPH0114599B2 (ja) | ||
| KR940002853B1 (ko) | 음성신호의 시작점 및 끝점의 적응적 추출방법 | |
| JP3484559B2 (ja) | 音声認識装置および音声認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010410 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090518 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090518 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140518 Year of fee payment: 13 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |