JPH1062460A - 信号分離装置 - Google Patents
信号分離装置Info
- Publication number
- JPH1062460A JPH1062460A JP8222581A JP22258196A JPH1062460A JP H1062460 A JPH1062460 A JP H1062460A JP 8222581 A JP8222581 A JP 8222581A JP 22258196 A JP22258196 A JP 22258196A JP H1062460 A JPH1062460 A JP H1062460A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- spectrum
- frequency
- convolution operation
- fundamental frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 9
- 238000001228 spectrum Methods 0.000 claims abstract description 99
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 5
- 230000005236 sound signal Effects 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000001914 filtration Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 2
- 230000005975 antitumor immune response Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- MUDCDMMNYVJLEB-UHFFFAOYSA-N methyl 2-(3-amino-4,5-dibromo-6-iminoxanthen-9-yl)benzoate;hydrochloride Chemical compound Cl.COC(=O)C1=CC=CC=C1C1=C2C=CC(=N)C(Br)=C2OC2=C(Br)C(N)=CC=C21 MUDCDMMNYVJLEB-UHFFFAOYSA-N 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Abstract
(57)【要約】
【課題】 抽出しやすいドミナント信号の基本周波数を
用いることにより、アンチドミナント信号を抽出できる
信号分離装置を提供する。 【解決手段】 入力部１１から入力された信号は周波数
分析部１２で分析され、基本周波数抽出部１３によって
ドミナントな信号の基本周波数が抽出され、基本周波数
の数倍の長さを持つバートレット窓とスペクトルの畳み
込み演算が畳み込み演算部１４で行なわれ、振幅決定部
１５によって周波数分析された入力信号のアンチドミナ
ントな信号のスペクトルエンベロープが算出され、求め
られたスペクトルエンベロープにより合成部１６によっ
て信号が再合成され、出力部１７によって音響信号に変
換して出力される。
用いることにより、アンチドミナント信号を抽出できる
信号分離装置を提供する。 【解決手段】 入力部１１から入力された信号は周波数
分析部１２で分析され、基本周波数抽出部１３によって
ドミナントな信号の基本周波数が抽出され、基本周波数
の数倍の長さを持つバートレット窓とスペクトルの畳み
込み演算が畳み込み演算部１４で行なわれ、振幅決定部
１５によって周波数分析された入力信号のアンチドミナ
ントな信号のスペクトルエンベロープが算出され、求め
られたスペクトルエンベロープにより合成部１６によっ
て信号が再合成され、出力部１７によって音響信号に変
換して出力される。
Description
【０００１】
【発明の属する技術分野】この発明は信号分離装置に関
し、特に、音声などの音響信号が複数混在するとき、そ
の中の１つの信号の基本周波数を持つ信号の基本周波数
を用いてその信号のスペクトルを平坦化することによ
り、競合している他方の信号のスペクトルを抽出するこ
とにより信号を分離するような信号分離装置に関する。
し、特に、音声などの音響信号が複数混在するとき、そ
の中の１つの信号の基本周波数を持つ信号の基本周波数
を用いてその信号のスペクトルを平坦化することによ
り、競合している他方の信号のスペクトルを抽出するこ
とにより信号を分離するような信号分離装置に関する。
【０００２】
【従来の技術】異なるスペクトル特性を持つ２つの信号
が混合した信号のうちで、１つの基本周波数が既知、も
しくは抽出可能であるとき、２つの信号を分離する手段
として、従来ではたとえばEnhancement of Speech by A
daptive Filtering, R.H. franzier他 Proc. IEEE. In
t. Conf. on Acoust. Speech and signal processing A
pr. 12-14 pp. 251-253（1976）に記載されているよう
な櫛形フィルタが広く用いられてきた。
が混合した信号のうちで、１つの基本周波数が既知、も
しくは抽出可能であるとき、２つの信号を分離する手段
として、従来ではたとえばEnhancement of Speech by A
daptive Filtering, R.H. franzier他 Proc. IEEE. In
t. Conf. on Acoust. Speech and signal processing A
pr. 12-14 pp. 251-253（1976）に記載されているよう
な櫛形フィルタが広く用いられてきた。
【０００３】図１３は、従来の櫛形フィルタを用いた信
号分離装置の概略ブロック図である。図１３において、
入力部１から入力信号が入力されて基本周波数抽出部２
に与えられ、入力された信号に混在している信号のうち
の１つの信号の基本周波数が抽出される。この抽出され
た基本周波数は櫛形フィルタ設計部３に与えられ、抽出
された基本周波数の整数倍にあたる周波数帯域のみが通
過帯域となるような櫛形フィルタが作成される。そし
て、設計されたフィルタリング部４によってフィルタリ
ングが施され、出力部５から出力される。
号分離装置の概略ブロック図である。図１３において、
入力部１から入力信号が入力されて基本周波数抽出部２
に与えられ、入力された信号に混在している信号のうち
の１つの信号の基本周波数が抽出される。この抽出され
た基本周波数は櫛形フィルタ設計部３に与えられ、抽出
された基本周波数の整数倍にあたる周波数帯域のみが通
過帯域となるような櫛形フィルタが作成される。そし
て、設計されたフィルタリング部４によってフィルタリ
ングが施され、出力部５から出力される。
【０００４】
【発明が解決しようとする課題】しかしながら、実際の
音環境では、調波構造を持ちエネルギーの大きい有声音
が目的信号をマスキングすることが多いので、目的信号
抽出のためには、アンチドミナント信号を求める機会が
多い。しかし、上述の従来の構造では、このような場合
でも、基本周波数などといったアンチドミナント信号の
性質を直接得る必要があり、これは実際には難しい。
音環境では、調波構造を持ちエネルギーの大きい有声音
が目的信号をマスキングすることが多いので、目的信号
抽出のためには、アンチドミナント信号を求める機会が
多い。しかし、上述の従来の構造では、このような場合
でも、基本周波数などといったアンチドミナント信号の
性質を直接得る必要があり、これは実際には難しい。
【０００５】それゆえに、この発明の主たる目的は、抽
出しやすいドミナント信号の基本周波数を用いることに
より、アンチドミナント信号を抽出できるような信号分
離装置を提供することである。
出しやすいドミナント信号の基本周波数を用いることに
より、アンチドミナント信号を抽出できるような信号分
離装置を提供することである。
【０００６】
【課題を解決するための手段】請求項１に係る発明は、
入力信号を分離する信号分離装置であって、入力信号の
周波数分析を行なう周波数分析手段と、周波数分析され
た入力信号に含まれる周波数のうち、ドミナントな信号
の基本周波数を求める基本周波数抽出手段と、抽出され
た基本周波数の数倍の長さを持つバートレット窓とスペ
クトルの畳み込み演算を行なう畳み込み演算手段と、周
波数分析された入力信号のアンチドミナントな信号のス
ペクトルエンベロープを算出する振幅決定手段と、求め
られたスペクトルエンベロープにより信号を再合成する
合成手段を備えて構成される。
入力信号を分離する信号分離装置であって、入力信号の
周波数分析を行なう周波数分析手段と、周波数分析され
た入力信号に含まれる周波数のうち、ドミナントな信号
の基本周波数を求める基本周波数抽出手段と、抽出され
た基本周波数の数倍の長さを持つバートレット窓とスペ
クトルの畳み込み演算を行なう畳み込み演算手段と、周
波数分析された入力信号のアンチドミナントな信号のス
ペクトルエンベロープを算出する振幅決定手段と、求め
られたスペクトルエンベロープにより信号を再合成する
合成手段を備えて構成される。
【０００７】請求項２に係る発明は、ドミナントな信号
とアンチドミナントな信号を含む入力信号からそれぞれ
の信号を分離する信号分離装置であって、入力信号の周
波数分析を行なう周波数分析手段と、周波数分析された
入力信号に含まれる信号のうち、ドミナントな信号の基
本周波数を求める基本周波数抽出手段と、抽出された基
本周波数の数倍の長さを持つバートレット窓とスペクト
ルの畳み込み演算を行なう畳み込み演算手段と、畳み込
み演算された結果を数回差分してアンチドミナントな信
号のエンベロープを決定する振幅決定手段と、決定され
たエンベロープより信号を合成する合成手段を備えて構
成される。
とアンチドミナントな信号を含む入力信号からそれぞれ
の信号を分離する信号分離装置であって、入力信号の周
波数分析を行なう周波数分析手段と、周波数分析された
入力信号に含まれる信号のうち、ドミナントな信号の基
本周波数を求める基本周波数抽出手段と、抽出された基
本周波数の数倍の長さを持つバートレット窓とスペクト
ルの畳み込み演算を行なう畳み込み演算手段と、畳み込
み演算された結果を数回差分してアンチドミナントな信
号のエンベロープを決定する振幅決定手段と、決定され
たエンベロープより信号を合成する合成手段を備えて構
成される。
【０００８】請求項３に係る発明では、さらに再合成さ
れた信号を音響信号に変換して出力する出力手段を含
む。
れた信号を音響信号に変換して出力する出力手段を含
む。
【０００９】請求項４に係る発明では、請求項１の畳み
込み演算手段は、基本周波数の数倍の長さを持つ窓関数
とスペクトルの実部の畳み込みを行なう第１の畳み込み
演算手段と、基本周波数の数倍の長さを持つ窓関数とス
ペクトルの虚部の畳み込みを行なう第２の畳み込み演算
手段とを含み、振幅決定手段は、第１の畳み込み演算手
段によって畳み込みされたスペクトルのピークを滑らか
に繋いだエンベロープとスペクトルのディップを滑らか
に繋いだエンベロープの差を各周波数について求める第
１の振幅決定手段と、第２の畳み込み演算手段によって
畳み込みされたスペクトルのピークを滑らかに繋いだエ
ンベロープとスペクトルのディップを滑らかに繋いだエ
ンベロープの差を各周波数について求める第２の振幅決
定手段とを含む。
込み演算手段は、基本周波数の数倍の長さを持つ窓関数
とスペクトルの実部の畳み込みを行なう第１の畳み込み
演算手段と、基本周波数の数倍の長さを持つ窓関数とス
ペクトルの虚部の畳み込みを行なう第２の畳み込み演算
手段とを含み、振幅決定手段は、第１の畳み込み演算手
段によって畳み込みされたスペクトルのピークを滑らか
に繋いだエンベロープとスペクトルのディップを滑らか
に繋いだエンベロープの差を各周波数について求める第
１の振幅決定手段と、第２の畳み込み演算手段によって
畳み込みされたスペクトルのピークを滑らかに繋いだエ
ンベロープとスペクトルのディップを滑らかに繋いだエ
ンベロープの差を各周波数について求める第２の振幅決
定手段とを含む。
【００１０】
【発明の実施の形態】図１はこの発明の一実施形態を示
すブロック図である。図１において、入力部１１から入
力され入力信号は周波数分析部１２に与えられ、入力信
号の周波数分析が行なわれる。周波数分析された入力信
号は基本周波数抽出部１３と畳み込み演算部１４とに与
えられる。基本周波数抽出部１３は周波数分析された入
力信号に含まれる周波数のうちドミナントな信号の基本
周波数を求める。畳み込み演算部１４は抽出された基本
周波数の数倍の長さを持つバートレット窓とスペクトル
の畳み込み演算を行なう。振幅決定部１５は周波数分析
された入力信号のアンチドミナントな信号のスペクトル
エンベロープを算出し、合成部１６に与える。合成部１
６は求められたスペクトルエンベロープにより信号を再
合成し、出力部１７に与える。出力部１７は再合成され
信号を音響信号に変換して出力する。
すブロック図である。図１において、入力部１１から入
力され入力信号は周波数分析部１２に与えられ、入力信
号の周波数分析が行なわれる。周波数分析された入力信
号は基本周波数抽出部１３と畳み込み演算部１４とに与
えられる。基本周波数抽出部１３は周波数分析された入
力信号に含まれる周波数のうちドミナントな信号の基本
周波数を求める。畳み込み演算部１４は抽出された基本
周波数の数倍の長さを持つバートレット窓とスペクトル
の畳み込み演算を行なう。振幅決定部１５は周波数分析
された入力信号のアンチドミナントな信号のスペクトル
エンベロープを算出し、合成部１６に与える。合成部１
６は求められたスペクトルエンベロープにより信号を再
合成し、出力部１７に与える。出力部１７は再合成され
信号を音響信号に変換して出力する。
【００１１】図２は２つの信号ｆ１（ｔ）とｆ２（ｔ）
が含まれている入力信号のスペクトルを示し、図３は信
号ｆ１（ｔ）のスペクトルを示し、図４は信号ｆ２
（ｔ）のスペクトルを示し、図５は図２の入力信号のス
ペクトルと入力信号に含まれるドミナントな信号の基本
周波数の２倍の長さの窓長を持つバートレット関数の畳
み込みの結果を示す。
が含まれている入力信号のスペクトルを示し、図３は信
号ｆ１（ｔ）のスペクトルを示し、図４は信号ｆ２
（ｔ）のスペクトルを示し、図５は図２の入力信号のス
ペクトルと入力信号に含まれるドミナントな信号の基本
周波数の２倍の長さの窓長を持つバートレット関数の畳
み込みの結果を示す。
【００１２】図６は他の２つの基本周波数の異なる信号
をフーリエ変換したスペクトルを示し、図７は図６を構
成する一方の信号のスペクトルを示し、図８は図６の信
号を構成する他方の信号のスペクトルを示し、図９は図
６の入力信号のスペクトルと入力信号に含まれる１つの
信号の基本周波数の２倍の長さの窓長を持つバートレッ
ト関数の畳み込みの結果を示す図である。
をフーリエ変換したスペクトルを示し、図７は図６を構
成する一方の信号のスペクトルを示し、図８は図６の信
号を構成する他方の信号のスペクトルを示し、図９は図
６の入力信号のスペクトルと入力信号に含まれる１つの
信号の基本周波数の２倍の長さの窓長を持つバートレッ
ト関数の畳み込みの結果を示す図である。
【００１３】次に、図１〜図９を参照して、この発明の
一実施形態の動作について説明する。入力部１１は図２
に示すような入力信号を周波数分析部１２に与える。こ
の入力信号ｆ（ｔ）は２つの信号ｆ１（ｔ）とｆ２
（ｔ）が含まれており、次の第（１）式で表わされる。
一実施形態の動作について説明する。入力部１１は図２
に示すような入力信号を周波数分析部１２に与える。こ
の入力信号ｆ（ｔ）は２つの信号ｆ１（ｔ）とｆ２
（ｔ）が含まれており、次の第（１）式で表わされる。
【００１４】
【数１】
【００１５】周波数分析部１２はフーリエ変換を用いて
入力信号の周波数分析を行なう。その分析結果は、次の
第（２）式で表わされ、その振幅値は第（３）式で表わ
される。異なる２つの信号が混合した信号をフーリエ変
換すると図２に示すようなスペクトルとなり、２つの信
号ｆ１（ｔ），ｆ２（ｔ）のスペクトルは図３および図
４に示しように、それぞれの信号の基本周波数の整数倍
間隔でスペクトルがたっている。
入力信号の周波数分析を行なう。その分析結果は、次の
第（２）式で表わされ、その振幅値は第（３）式で表わ
される。異なる２つの信号が混合した信号をフーリエ変
換すると図２に示すようなスペクトルとなり、２つの信
号ｆ１（ｔ），ｆ２（ｔ）のスペクトルは図３および図
４に示しように、それぞれの信号の基本周波数の整数倍
間隔でスペクトルがたっている。
【００１６】
【数２】
【００１７】基本周波数抽出部１３は入力信号のうちい
ずれか一方の信号の基本周波数を抽出し、畳み込み演算
部１４は基本周波数の２倍の長さを持つ窓関数とスペク
トルの畳み込みを行なう。その結果は次の第（４）式で
表わされる。
ずれか一方の信号の基本周波数を抽出し、畳み込み演算
部１４は基本周波数の２倍の長さを持つ窓関数とスペク
トルの畳み込みを行なう。その結果は次の第（４）式で
表わされる。
【００１８】
【数３】
【００１９】いま、図３のスペクトル間隔の２倍の長さ
の窓長を持つバートレット窓関数を図２のスペクトルに
対して畳み込み演算を行なうと、Ｆ１（ω）のエンベロ
ープが十分に滑らかなとき、Ｆ１（ω）による線スペク
トルは補間されてそのエンベロープだけが表われる。し
かし、Ｆ２（ω）による線スペクトルはスペクトル間隔
と補間関数であるバートレット窓関数の窓長の長さの関
係が適当でないため、図５に示すように、線スペクトル
の影響が補間後のエンベロープに表われる。このときの
エンベロープのピークとディップの間隔Δｄは、Ｆ１
（ω）の線スペクトルの振幅が一定であれば一定値であ
る。
の窓長を持つバートレット窓関数を図２のスペクトルに
対して畳み込み演算を行なうと、Ｆ１（ω）のエンベロ
ープが十分に滑らかなとき、Ｆ１（ω）による線スペク
トルは補間されてそのエンベロープだけが表われる。し
かし、Ｆ２（ω）による線スペクトルはスペクトル間隔
と補間関数であるバートレット窓関数の窓長の長さの関
係が適当でないため、図５に示すように、線スペクトル
の影響が補間後のエンベロープに表われる。このときの
エンベロープのピークとディップの間隔Δｄは、Ｆ１
（ω）の線スペクトルの振幅が一定であれば一定値であ
る。
【００２０】同様にして、図７のスペクトル間隔の２倍
の長さの窓長を持つバートレット関数を畳み込みをする
と、図９に示すような関数が得られる。図９および上述
の第（４）式から図５で見られたピークとディップの間
隔ΔｄはＢｎ倍されてＢ（ω）・Δｄとなっていること
がわかる。さらに、第（４）式より、信号ｆ１（ｔ）の
スペクトルＡｎの影響は、バイアスとしてピークとディ
ップに均等に付加されていることになる。このことによ
り、畳み込み演算後のスペクトル関数のピークとディッ
プの差Ｂ（ω）・Δｄが信号ｆ２（ｔ）のスペクトル包
絡の相似形となっており、またそのエンベロープのピー
クの位置がＦ２（ω）の線スペクトルの位置に相当する
ことがわかる。
の長さの窓長を持つバートレット関数を畳み込みをする
と、図９に示すような関数が得られる。図９および上述
の第（４）式から図５で見られたピークとディップの間
隔ΔｄはＢｎ倍されてＢ（ω）・Δｄとなっていること
がわかる。さらに、第（４）式より、信号ｆ１（ｔ）の
スペクトルＡｎの影響は、バイアスとしてピークとディ
ップに均等に付加されていることになる。このことによ
り、畳み込み演算後のスペクトル関数のピークとディッ
プの差Ｂ（ω）・Δｄが信号ｆ２（ｔ）のスペクトル包
絡の相似形となっており、またそのエンベロープのピー
クの位置がＦ２（ω）の線スペクトルの位置に相当する
ことがわかる。
【００２１】振幅決定部１５は畳み込みの結果得られた
スペクトルのピークを滑らかに繋いだエンベロープのス
ペクトルのディップを滑らかに繋いだエンベロープの差
を各周波数について求める。そして、合成部１６は求め
られたエンベロープの差を振幅エンベロープとするスペ
クトルをフーリエ逆変換して時間信号とし、出力部１７
はその信号を音響信号に変換して出力する。
スペクトルのピークを滑らかに繋いだエンベロープのス
ペクトルのディップを滑らかに繋いだエンベロープの差
を各周波数について求める。そして、合成部１６は求め
られたエンベロープの差を振幅エンベロープとするスペ
クトルをフーリエ逆変換して時間信号とし、出力部１７
はその信号を音響信号に変換して出力する。
【００２２】なお、上述の実施形態において、周波数分
析部１２はフーリエ変換を用いるようにしたが、これに
限ることなく、たとえばＬＰＣ，ケプストラム，狭帯域
フィルタなどを用いて周波数分析を行なうようにしても
よい。また、検出されるスペクトルは振幅スペクトルで
はなく、パワースペクトルであってもよい。さらに、求
められたドミナントな信号が調波構造を持つならば、そ
の基本周波数を求めて同様の処理を行ない、アンチドミ
ナントな信号を抽出するようにしてもよい。
析部１２はフーリエ変換を用いるようにしたが、これに
限ることなく、たとえばＬＰＣ，ケプストラム，狭帯域
フィルタなどを用いて周波数分析を行なうようにしても
よい。また、検出されるスペクトルは振幅スペクトルで
はなく、パワースペクトルであってもよい。さらに、求
められたドミナントな信号が調波構造を持つならば、そ
の基本周波数を求めて同様の処理を行ない、アンチドミ
ナントな信号を抽出するようにしてもよい。
【００２３】図１０はこの発明の他の実施形態を示すブ
ロック図である。この実施形態は周波数特性の実部と虚
部を別々に処理することにより、複素信号を分離するよ
うにしたものである。このために、周波数分析部１２は
フーリエ変換を用いて入力信号の周波数分析を行ない、
実部と虚部を出力する。実部は第１の畳み込み演算部１
４１に与えられ、虚部は第２の畳み込み演算部１４２に
与えられる。第１および第２の畳み込み演算部１４１，
１４２はそれぞれ基本周波数の２倍の長さを持つ窓関数
とスペクトルの虚部および実部の畳み込みを行ない、第
１の振幅決定部１５１と第２の振幅決定部１５２に与え
る。第１および第２の振幅決定部１５１，１５２は畳み
込みをされたスペクトルのピークを滑らかに繋いだエン
ベロープとスペクトルのディップを滑らかに繋いだエン
ベロープの差を各周波数について求める。第１および第
２の振幅決定部１５１，１５１で求められた実部と虚部
を持つスペクトルは合成部１６に与えられ、フーリエ逆
変換が行なわれる。それ以外の入力部１１と基本周波数
抽出部１３と出力部１７は前述の図１と同様にして構成
される。
ロック図である。この実施形態は周波数特性の実部と虚
部を別々に処理することにより、複素信号を分離するよ
うにしたものである。このために、周波数分析部１２は
フーリエ変換を用いて入力信号の周波数分析を行ない、
実部と虚部を出力する。実部は第１の畳み込み演算部１
４１に与えられ、虚部は第２の畳み込み演算部１４２に
与えられる。第１および第２の畳み込み演算部１４１，
１４２はそれぞれ基本周波数の２倍の長さを持つ窓関数
とスペクトルの虚部および実部の畳み込みを行ない、第
１の振幅決定部１５１と第２の振幅決定部１５２に与え
る。第１および第２の振幅決定部１５１，１５２は畳み
込みをされたスペクトルのピークを滑らかに繋いだエン
ベロープとスペクトルのディップを滑らかに繋いだエン
ベロープの差を各周波数について求める。第１および第
２の振幅決定部１５１，１５１で求められた実部と虚部
を持つスペクトルは合成部１６に与えられ、フーリエ逆
変換が行なわれる。それ以外の入力部１１と基本周波数
抽出部１３と出力部１７は前述の図１と同様にして構成
される。
【００２４】次に、動作について説明する。入力部１１
からは前述の第（１）を式で示した入力信号が入力さ
れ、周波数分析部１２はフーリエ変換を用いて入力信号
の周波数分析を行ない、その結果は前述の第（２）式で
表わされる。第（２）式において、Ａ＝ａｒ＋ｉａｉ，
ｂ＝ｂｒ＋ｉｂｉとすると、実部と虚部はそれぞれ第
（５），第（６）式で表わされる。
からは前述の第（１）を式で示した入力信号が入力さ
れ、周波数分析部１２はフーリエ変換を用いて入力信号
の周波数分析を行ない、その結果は前述の第（２）式で
表わされる。第（２）式において、Ａ＝ａｒ＋ｉａｉ，
ｂ＝ｂｒ＋ｉｂｉとすると、実部と虚部はそれぞれ第
（５），第（６）式で表わされる。
【００２５】
【数４】
【００２６】第１の畳み込み演算部１４１は次の第
（７）式に従って、基本周波数の２倍の長さを持つ窓関
数とスペクトルの実部の畳み込みを行なう。
（７）式に従って、基本周波数の２倍の長さを持つ窓関
数とスペクトルの実部の畳み込みを行なう。
【００２７】
【数５】
【００２８】一方、第２の畳み込み演算部１５２は次の
第（８）式に従って、基本周波数の２倍の長さを持つ窓
関数とスペクトルの虚部の畳み込みを行なう。
第（８）式に従って、基本周波数の２倍の長さを持つ窓
関数とスペクトルの虚部の畳み込みを行なう。
【００２９】
【数６】
【００３０】第１の振幅決定部１５１は第１の畳み込み
演算部１４１によって畳み込みをされたスペクトルのピ
ークを滑らかに繋いだエンベロープとスペクトルのディ
ップを滑らかに繋いだエンベロープの差を各周波数につ
いて求め、第２の振幅決定部１５２は第２の畳み込み演
算部１４２で畳み込みの結果得られたスペクトルのピー
クを滑らかに繋いだエンベロープとスペクトルのディッ
プを滑らかに繋いだエンベロープの差を各周波数につい
て求める。そして、合成部１６は第１および第２の振幅
決定部１５１，１５２で求められた実部と虚部を持つス
ペクトルのフーリエ逆変換を行なって時間信号を求め、
出力部１７は構成部１６の出力信号を音響信号に変換し
て出力する。
演算部１４１によって畳み込みをされたスペクトルのピ
ークを滑らかに繋いだエンベロープとスペクトルのディ
ップを滑らかに繋いだエンベロープの差を各周波数につ
いて求め、第２の振幅決定部１５２は第２の畳み込み演
算部１４２で畳み込みの結果得られたスペクトルのピー
クを滑らかに繋いだエンベロープとスペクトルのディッ
プを滑らかに繋いだエンベロープの差を各周波数につい
て求める。そして、合成部１６は第１および第２の振幅
決定部１５１，１５２で求められた実部と虚部を持つス
ペクトルのフーリエ逆変換を行なって時間信号を求め、
出力部１７は構成部１６の出力信号を音響信号に変換し
て出力する。
【００３１】次に、図１に示した実施形態の他の例につ
いて説明する。ドミナントな信号ｆ１（ｔ）のスペクト
ル包絡をＦ１（ω）、最高倍音の次数をＮ１，アンチド
ミナントな信号ｆ２（ｔ）のスペクトル包絡をＦ２
（ω）、最高倍音の次数をＮ２、それぞれの基本周波数
をω1 ，ω2 とする。またそれぞれのスペクトルは調波
構造を持ち、線スペクトルで記述できるものとする。こ
のとき、信号ｆ１（ｔ）、ｆ２（ｔ）が合成された信号
のスペクトルＦ（ω）は次の第（９）式で表わされる。
いて説明する。ドミナントな信号ｆ１（ｔ）のスペクト
ル包絡をＦ１（ω）、最高倍音の次数をＮ１，アンチド
ミナントな信号ｆ２（ｔ）のスペクトル包絡をＦ２
（ω）、最高倍音の次数をＮ２、それぞれの基本周波数
をω1 ，ω2 とする。またそれぞれのスペクトルは調波
構造を持ち、線スペクトルで記述できるものとする。こ
のとき、信号ｆ１（ｔ）、ｆ２（ｔ）が合成された信号
のスペクトルＦ（ω）は次の第（９）式で表わされる。
【００３２】
【数７】
【００３３】ここで、ｆ１（ｔ），ｆ２（ｔ）が共通の
周波数の倍音成分を持たなければ、次の第（１０）式で
示される。
周波数の倍音成分を持たなければ、次の第（１０）式で
示される。
【００３４】
【数８】
【００３５】一方、信号ｆ１（ｔ），ｆ２（ｔ）が共通
の周波数の倍音成分を持つときは、その位相関係によっ
てその倍音のスペクトルの振幅値が干渉を受けることに
なる。ひとまずここでは、共通の倍音成分がない場合を
仮定する。
の周波数の倍音成分を持つときは、その位相関係によっ
てその倍音のスペクトルの振幅値が干渉を受けることに
なる。ひとまずここでは、共通の倍音成分がない場合を
仮定する。
【００３６】上述の第（１０）式に信号ｆ１（ｔ）の基
本周波数ω1 の２倍の窓長を持つバートレット窓関数を
周波数領域で畳み込む。ｆ１（ｔ）のスペクトルが十分
に滑らかなとき、
本周波数ω1 の２倍の窓長を持つバートレット窓関数を
周波数領域で畳み込む。ｆ１（ｔ）のスペクトルが十分
に滑らかなとき、
【００３７】
【数９】
【００３８】となり、ここで、
【００３９】
【数１０】
【００４０】であるので、第１項は近似的に｜Ｓ
1 （ω）｜となる。次に、第２項の
1 （ω）｜となる。次に、第２項の
【００４１】
【数１１】
【００４２】について、その性質を詳しく観察する。第
（１３）式の真中の項はω2 の間隔で線スペクトルが並
んでいる。ω1 ＜ω2 のとき、次の第（１４）式は図１
１に示すようなスペクトルになり、また、ω1 ＞ω2 の
とき第（１４）式は図１２に示すようなスペクトルにな
る。
（１３）式の真中の項はω2 の間隔で線スペクトルが並
んでいる。ω1 ＜ω2 のとき、次の第（１４）式は図１
１に示すようなスペクトルになり、また、ω1 ＞ω2 の
とき第（１４）式は図１２に示すようなスペクトルにな
る。
【００４３】
【数１２】
【００４４】図１２（ａ）は基本周波数１５３Ｈｚの調
波複合音のスペクトルであり、（ｂ）はそのスペクトル
を窓長２００Ｈｚのバートレット窓で平滑化したスペク
トルである。また図１２（ａ）は基本周波数１００Ｈｚ
の調波複合音のスペクトルであり、図１２（ｂ）はその
スペクトルを窓長２５６Ｈｚのバートレット窓で平滑化
したスペクトルを示す。
波複合音のスペクトルであり、（ｂ）はそのスペクトル
を窓長２００Ｈｚのバートレット窓で平滑化したスペク
トルである。また図１２（ａ）は基本周波数１００Ｈｚ
の調波複合音のスペクトルであり、図１２（ｂ）はその
スペクトルを窓長２５６Ｈｚのバートレット窓で平滑化
したスペクトルを示す。
【００４５】これらのどちらもω2 の間隔で極大値を持
つ関数であることがわかる。またさらにｆ２（ｔ）が調
波構造を持つ周期信号であれば、極小値と極大値を結ぶ
線分の傾きは周波数に依らず一定となる。特に、ω1 ＞
ω2 のときは、極大点間の中点に極小点が存在する。極
大値をＭx ，極小値をＭn ，基本周波数をω1 とする
と、ω1 ＞ω2 のとき、第（１４）式の極小値と極大値
を結ぶ線分の傾きは、次の第（１５）式で与えられる。
つ関数であることがわかる。またさらにｆ２（ｔ）が調
波構造を持つ周期信号であれば、極小値と極大値を結ぶ
線分の傾きは周波数に依らず一定となる。特に、ω1 ＞
ω2 のときは、極大点間の中点に極小点が存在する。極
大値をＭx ，極小値をＭn ，基本周波数をω1 とする
と、ω1 ＞ω2 のとき、第（１４）式の極小値と極大値
を結ぶ線分の傾きは、次の第（１５）式で与えられる。
【００４６】２（Ｍx −Ｍn ）／ω2 …（１５） 今、 ｜Ｆ２（ω）｜＝Ｃ1 ω＋Ｃ2 …（１６） とすると、第（１３）の極小値と極大値を結ぶ線分の傾
きは第（１７）式となり、極小値と極大値を結ぶ線分の
傾きは一定のバイアスＣ1 Ｍn を伴うが、｜Ｆ２（ω）
｜の振幅がその傾きに反映されていることがわかる。
きは第（１７）式となり、極小値と極大値を結ぶ線分の
傾きは一定のバイアスＣ1 Ｍn を伴うが、｜Ｆ２（ω）
｜の振幅がその傾きに反映されていることがわかる。
【００４７】
【数１３】
【００４８】ω1 ＜ω2 のときは、極小点が極大点の中
点を中心としたある範囲に分布するので、極小値と極大
値を結ぶ線分の傾きはω1 ＞ω2 のときよりも大きくな
るが、その傾きは周波数によらず一定であるので、第
（１７）式と同様に｜Ｆ２（ω）｜の振幅がその傾きに
反映されていることがわかる。
点を中心としたある範囲に分布するので、極小値と極大
値を結ぶ線分の傾きはω1 ＞ω2 のときよりも大きくな
るが、その傾きは周波数によらず一定であるので、第
（１７）式と同様に｜Ｆ２（ω）｜の振幅がその傾きに
反映されていることがわかる。
【００４９】上述の演算は図１に示した畳み込み演算部
１４によって行なわれる。次に、振幅決定部１５の動作
について説明する。第（１１）式をωについて２回微分
する。ここで、
１４によって行なわれる。次に、振幅決定部１５の動作
について説明する。第（１１）式をωについて２回微分
する。ここで、
【００５０】
【数１４】
【００５１】とおくと、
【００５２】
【数１５】
【００５３】となる。ここで、｜Ｆ１（ω）｜，｜Ｆ２
（ω）｜がＧ（ω）に対して十分滑らかに変化すると
き、近似的に第（２１）式となる。
（ω）｜がＧ（ω）に対して十分滑らかに変化すると
き、近似的に第（２１）式となる。
【００５４】
【数１６】
【００５５】ここで、Ｇ（ω）はＦ２（ω）の線スペク
トルの存在する周波数に極大値を持つ関数であるので、
その周波数ではＧ（ω）の１回微分ｄＧ（ω）／ｄω＝
０，Ｇ（ω）の２回微分ｄ2 Ｇ（ω）／ｄω2 ＝−∞と
なる。
トルの存在する周波数に極大値を持つ関数であるので、
その周波数ではＧ（ω）の１回微分ｄＧ（ω）／ｄω＝
０，Ｇ（ω）の２回微分ｄ2 Ｇ（ω）／ｄω2 ＝−∞と
なる。
【００５６】実際に計算を行なうときは、微分ではなく
差分を用いると、Δ2 （Ｇ（ω））は有限の値となり、
その大きさは極大値と極小値を結ぶ線分の傾きを反映し
ている。結局、求めるｆ２（ｔ）のスペクトルは次の第
（２２）式となる。
差分を用いると、Δ2 （Ｇ（ω））は有限の値となり、
その大きさは極大値と極小値を結ぶ線分の傾きを反映し
ている。結局、求めるｆ２（ｔ）のスペクトルは次の第
（２２）式となる。
【００５７】
【数１７】
【００５８】ところで、図１２より、ω1 ＞ω2 の場合
は、畳み込み関数の窓長に対し、非畳み込み関数のスペ
クトルの間隔が小さいため、最小の周波数と最大の周波
数のピークが明確でないことがわかる。このように、ス
ペクトルの振幅値が０である帯域に隣接するスペクトル
成分は、第（２２）式の条件では、抽出することができ
なくなる。特に、基本周波数に相当する成分の欠落は大
きな音色の変化を引起こすおそれがある。そこで基本周
波数が欠落しないように、低域のスペクトル振幅に等し
い直流の成分を加えてからスペクトル平滑化を行なっ
た。
は、畳み込み関数の窓長に対し、非畳み込み関数のスペ
クトルの間隔が小さいため、最小の周波数と最大の周波
数のピークが明確でないことがわかる。このように、ス
ペクトルの振幅値が０である帯域に隣接するスペクトル
成分は、第（２２）式の条件では、抽出することができ
なくなる。特に、基本周波数に相当する成分の欠落は大
きな音色の変化を引起こすおそれがある。そこで基本周
波数が欠落しないように、低域のスペクトル振幅に等し
い直流の成分を加えてからスペクトル平滑化を行なっ
た。
【００５９】
【発明の効果】以上のように、この発明によれば、入力
信号の周波数分析を行ない、入力信号に含まれる周波数
のうちのドミナントな信号の基本周波数を求め、求めた
基本周波数の数倍の長さを持つバートレット窓とスペク
トルの畳み込み演算を行ない、入力信号のアンチドミナ
ントな信号のスペクトルエンベロープを算出し、求めた
スペクトルエンベロープ信号を再合成するようにしたの
で、混合信号のうちのドミナントな信号のスペクトルを
平坦化してアンチドミナントな信号のスペクトルの特徴
を引出すことができ、２つの信号を分離可能な優れた信
号分離装置を実現できる。
信号の周波数分析を行ない、入力信号に含まれる周波数
のうちのドミナントな信号の基本周波数を求め、求めた
基本周波数の数倍の長さを持つバートレット窓とスペク
トルの畳み込み演算を行ない、入力信号のアンチドミナ
ントな信号のスペクトルエンベロープを算出し、求めた
スペクトルエンベロープ信号を再合成するようにしたの
で、混合信号のうちのドミナントな信号のスペクトルを
平坦化してアンチドミナントな信号のスペクトルの特徴
を引出すことができ、２つの信号を分離可能な優れた信
号分離装置を実現できる。
【図１】この発明の一実施形態のブロック図である。
【図２】２つの信号ｆ１（ｔ）とｆ２（ｔ）が含まれて
いる入力信号のスペクトルを示す図である。
いる入力信号のスペクトルを示す図である。
【図３】信号ｆ１（ｔ）のスペクトルを示す図である。
【図４】信号ｆ２（ｔ）のスペクトルを示す図である。
【図５】図２の入力信号のスペクトルと入力信号に含ま
れる１つの信号の基本周波数の２倍の長さの窓長を持つ
バートレット関数の畳み込みの結果を示す図である。
れる１つの信号の基本周波数の２倍の長さの窓長を持つ
バートレット関数の畳み込みの結果を示す図である。
【図６】他の２つの基本周波数の異なる信号をフーリエ
変換したスペクトルを示す図である。
変換したスペクトルを示す図である。
【図７】図６の信号を構成する一方の信号のスペクトル
を示す図である。
を示す図である。
【図８】図６の信号を構成する他方の信号のスペクトル
を示す図である。
を示す図である。
【図９】図６に示した入力信号のスペクトルと入力信号
に含まれる１つの信号の基本周波数の２倍の長さの窓長
を持つバートレット関数の畳み込みの結果を示す図であ
る。
に含まれる１つの信号の基本周波数の２倍の長さの窓長
を持つバートレット関数の畳み込みの結果を示す図であ
る。
【図１０】この発明の他の実施形態を示すブロック図で
ある。
ある。
【図１１】基本周波数１５３Ｈｚの調波複合音のスペク
トルとバートレット窓で平滑化したスペクトルを示す図
である。
トルとバートレット窓で平滑化したスペクトルを示す図
である。
【図１２】基本周波数１００Ｈｚの調波複合音のスペク
トルとバートレット窓で平滑化したスペクトルを示す図
である。
トルとバートレット窓で平滑化したスペクトルを示す図
である。
【図１３】従来の信号分離装置の構成を示すブロック図
である。
である。
１１ 入力部 １２ 周波数分析部 １３ 基本周波数抽出部 １４ 畳み込み演算部 １５ 振幅決定部 １６ 合成部 １７ 出力部 １４１ 第１の畳み込み演算部 １４２ 第２の畳み込み演算部 １５１ 第１の振幅決定部 １５２ 第２の振幅決定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ハニ ヤヒヤ 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 (72)発明者 河原 英紀 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内
Claims (4)
- 【請求項１】 入力信号を分離する信号分離装置であっ
て、 前記入力信号の周波数分析を行なう周波数分析手段、 前記周波数分析手段によって周波数分析された入力信号
に含まれる周波数のうち、ドミナントな信号の基本周波
数を求める基本周波数抽出手段、 前記基本周波数抽出手段によって抽出された基本周波数
の数倍の長さを持つバートレット窓とスペクトルの畳み
込み演算を行なう畳み込み演算手段、 前記周波数分析された入力信号のアンチドミナントな信
号のスペクトルエンベロープを算出する振幅決定手段、
および求められたスペクトルエンベロープにより信号を
再合成する合成手段を備えた、信号分離装置。 - 【請求項２】 入力信号を分離する信号分離装置であっ
て、 前記入力信号の周波数分析を行なう周波数分析手段、 前記周波数分析手段によって周波数分析された入力信号
に含まれる信号のうち、ドミナントな信号の基本周波数
を求める基本周波数抽出手段、 前記基本周波数抽出手段によって抽出された基本周波数
の数倍の長さを持つバートレット窓とスペクトルの畳み
込み演算を行なう畳み込み演算手段、 前記畳み込み演算手段によって畳み込み演算された結果
を数回差分して前記アンチドミナントな信号のエンベロ
ープを決定する振幅決定手段、および前記振幅決定手段
によって決定されたエンベロープより信号を合成する合
成手段を備えた、信号分離装置。 - 【請求項３】 さらに、前記合成手段によって再合成さ
れた信号を音響信号に変換して出力する出力手段を備え
た、請求項１または２の信号分離装置。 - 【請求項４】 前記畳み込み演算手段は、 前記基本周波数の数倍の長さを持つ窓関数とスペクトル
の実部の畳み込みを行なう第１の畳み込み演算手段と、 前記基本周波数の数倍の長さを持つ窓関数とスペクトル
の虚部の畳み込みを行なう第２の畳み込み演算手段とを
含み、 前記振幅決定手段は、 前記第１の畳み込み演算手段によって畳み込みされたス
ペクトルのピークを滑らかに繋いだエンベロープとスペ
クトルのディップを滑らかに繋いだエンベロープの差を
各周波数に基づいて求める第１の振幅決定手段と、 前記第２の畳み込み演算手段によって畳み込みされたス
ペクトルのピークを滑らかに繋いだエンベロープとスペ
クトルのディップを滑らかに繋いだエンベロープの差を
各周波数について求める第２の振幅決定手段とを含む、
請求項１の信号分離装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22258196A JP3472046B2 (ja) | 1996-08-23 | 1996-08-23 | 信号分離装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22258196A JP3472046B2 (ja) | 1996-08-23 | 1996-08-23 | 信号分離装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1062460A true JPH1062460A (ja) | 1998-03-06 |
| JP3472046B2 JP3472046B2 (ja) | 2003-12-02 |
Family
ID=16784720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22258196A Expired - Lifetime JP3472046B2 (ja) | 1996-08-23 | 1996-08-23 | 信号分離装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3472046B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001041505A1 (en) * | 1999-12-03 | 2001-06-07 | Dolby Laboratories Licensing Corporation | Method and apparatus for deriving at least one audio signal from two or more input audio signals |
| US6920223B1 (en) | 1999-12-03 | 2005-07-19 | Dolby Laboratories Licensing Corporation | Method for deriving at least three audio signals from two input audio signals |
| US7280664B2 (en) | 2000-08-31 | 2007-10-09 | Dolby Laboratories Licensing Corporation | Method for apparatus for audio matrix decoding |
| WO2016024363A1 (ja) * | 2014-08-14 | 2016-02-18 | 株式会社ピー・ソフトハウス | オーディオ信号処理装置、オーディオ信号処理方法およびオーディオ信号処理プログラム |
-
1996
- 1996-08-23 JP JP22258196A patent/JP3472046B2/ja not_active Expired - Lifetime
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001041505A1 (en) * | 1999-12-03 | 2001-06-07 | Dolby Laboratories Licensing Corporation | Method and apparatus for deriving at least one audio signal from two or more input audio signals |
| US6920223B1 (en) | 1999-12-03 | 2005-07-19 | Dolby Laboratories Licensing Corporation | Method for deriving at least three audio signals from two input audio signals |
| US6970567B1 (en) | 1999-12-03 | 2005-11-29 | Dolby Laboratories Licensing Corporation | Method and apparatus for deriving at least one audio signal from two or more input audio signals |
| KR100704507B1 (ko) * | 1999-12-03 | 2007-04-10 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 2 입력 오디오 신호들로부터 적어도 3 오디오 신호들을유도하기 위한 방법 |
| US7280664B2 (en) | 2000-08-31 | 2007-10-09 | Dolby Laboratories Licensing Corporation | Method for apparatus for audio matrix decoding |
| WO2016024363A1 (ja) * | 2014-08-14 | 2016-02-18 | 株式会社ピー・ソフトハウス | オーディオ信号処理装置、オーディオ信号処理方法およびオーディオ信号処理プログラム |
| US9881633B2 (en) | 2014-08-14 | 2018-01-30 | P Softhouse Co., Ltd. | Audio signal processing device, audio signal processing method, and audio signal processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3472046B2 (ja) | 2003-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0822538B1 (en) | Method of transforming periodic signal using smoothed spectrogram, method of transforming sound using phasing component and method of analyzing signal using optimum interpolation function | |
| JP2763322B2 (ja) | 音声処理方法 | |
| Watanabe | Formant estimation method using inverse-filter control | |
| Nakatani et al. | Robust and accurate fundamental frequency estimation based on dominant harmonic components | |
| EP2401740B1 (en) | Apparatus and method for determining a plurality of local center of gravity frequencies of a spectrum of an audio signal | |
| EP2249333B1 (en) | Method and apparatus for estimating a fundamental frequency of a speech signal | |
| JP4170217B2 (ja) | ピッチ波形信号生成装置、ピッチ波形信号生成方法及びプログラム | |
| JP3074952B2 (ja) | 雑音除去装置 | |
| EP1074968B1 (en) | Synthesized sound generating apparatus and method | |
| KR100708121B1 (ko) | 음성 신호의 대역 확장 방법 및 장치 | |
| JP2001022369A (ja) | 音源情報の抽出方法 | |
| JP2003044077A (ja) | 音声特徴量抽出方法と装置及びプログラム | |
| JPH1062460A (ja) | 信号分離装置 | |
| JPH05281996A (ja) | ピッチ抽出装置 | |
| JP2001222289A (ja) | 音響信号分析方法及び装置並びに音声信号処理方法及び装置 | |
| JPH08305396A (ja) | 音声帯域拡大装置および音声帯域拡大方法 | |
| JP7461192B2 (ja) | 基本周波数推定装置、アクティブノイズコントロール装置、基本周波数の推定方法及び基本周波数の推定プログラム | |
| JP3223564B2 (ja) | ピッチ抽出方法 | |
| JP4125322B2 (ja) | 基本周波数抽出装置、その方法、そのプログラム並びにそのプログラムを記録した記録媒体 | |
| JP3841705B2 (ja) | 占有度抽出装置および基本周波数抽出装置、それらの方法、それらのプログラム並びにそれらのプログラムを記録した記録媒体 | |
| JPH08328593A (ja) | スペクトル分析方法 | |
| JPH05127668A (ja) | 自動採譜装置 | |
| JP4313740B2 (ja) | 残響除去方法、プログラムおよび記録媒体 | |
| JPH1097288A (ja) | 背景雑音除去装置及び音声認識装置 | |
| JP3218681B2 (ja) | 背景雑音検出方法及び高能率符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030826 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100912 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100912 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |