JPH09292894A - 音声認識方法及び装置 - Google Patents
音声認識方法及び装置Info
- Publication number
- JPH09292894A JPH09292894A JP8107284A JP10728496A JPH09292894A JP H09292894 A JPH09292894 A JP H09292894A JP 8107284 A JP8107284 A JP 8107284A JP 10728496 A JP10728496 A JP 10728496A JP H09292894 A JPH09292894 A JP H09292894A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- recognized
- output
- threshold value
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 10
- 238000001228 spectrum Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
Abstract
に音声を認識する技術を提供すること。 【解決手段】 認識対象の音声を認識する装置におい
て、背景雑音とともに前記認識対象の音声信号を入力す
る音声入力手段1と、該音声信号を少なくとも2つの所
定の周波数帯域によって弁別する弁別手段2と、該弁別
手段2からのそれぞれの出力レベルを閾値と比較する比
較手段3と、認識対象の音声以外の背景雑音に基づき前
記閾値を変化する閾値制御手段4と、前記比較手段3か
らの出力を演算する演算手段5と、を備える。
Description
装置、特に、背景雑音のある環境下にて音声の認識を行
う技術に関する。
て、音声によって電気機器の操作を行う音声操作スイッ
チがある。この音声操作スイッチの音声認識装置の構成
としては、図6に示すものが知られている。このもの
は、音声信号を入力するマイクロフォン1から出力され
る音声信号を所定の周波数帯域にて弁別する弁別手段に
相当する複数の周波数帯域の異なる帯域フィルタ2に入
力し、該帯域フィルタ2からの出力を比較手段に相当す
る比較器3によって所定の閾値と比較する。そして、比
較器3の出力を演算する演算手段に相当するAND回路
5によって、音声信号の所定の信号スペクトルの全ての
ものの大きさが、所定の大きさ以上か否かを演算するも
のである。このものにおいては、比較器3の閾値は、所
定の音声を所定の認識水準にて認識する事を前提にし、
認識しようとする音声によってそれぞれ所定の異なる値
に設定される。
操作スイッチにおいては、使用される環境は、認識を必
要とする音声以外の音すなわち背景雑音があることが多
く、認識しようとする音声信号に比べ背景雑音の音圧レ
ベルが大きいこともあり、この様な場合には誤認識する
といった問題があった。
で、その目的とするところは、背景雑音があっても誤認
識する事がなく確実に音声を認識する技術を提供するこ
とにある。
に、請求項1記載の音声認識方法は、認識対象の音声を
認識する方法において、背景雑音とともに前記認識対象
の音声信号を入力して少なくとも2つの周波数帯域によ
って弁別し、該周波数帯域のそれぞれの出力レベルを認
識対象の音声以外の背景雑音に基づき閾値を変化して比
較し、比較した結果を演算することによって該認識対象
の音声を認識することとしている。これにより、少なく
とも2つの周波数帯域によって弁別したそれぞれの出力
レベルが認識対象の音声以外の背景雑音に基づき閾値を
変化して比較され、音声が認識される。
識対象の音声を認識する装置において、背景雑音ととも
に前記認識対象の音声信号を入力する音声入力手段と、
該音声信号を少なくとも2つの所定の周波数帯域によっ
て弁別する弁別手段と、該弁別手段からのそれぞれの出
力レベルを閾値と比較する比較手段と、認識対象の音声
以外の背景雑音に基づき前記閾値を変化する閾値制御手
段と、前記比較手段からの出力を演算する演算手段と、
を備えることとしている。これにより、音声入力手段か
ら入力された音声信号が少なくとも2つの弁別手段によ
って所定の周波数帯域により弁別されて出力され、閾値
制御手段によって認識対象の音声以外の背景雑音に基づ
き閾値が制御され変化する比較手段によって比較され、
演算手段により演算されて認識されるものとなる。
求項2記載の弁別手段の周波数帯域の中心を、認識する
所定の音声におけるフォルマント周波数とすることとし
ている。これにより、音声信号が所定の音声におけるフ
ォルマント周波数を中心周波数とする周波数帯域によっ
て弁別されるものとなる。
求項2又は3記載の比較手段は、入力側の弁別手段の周
波数帯域の高いものの閾値を入力側の弁別手段の周波数
帯域の低いものの閾値より小さくすることとしている。
これにより、音声信号の周波数帯域の高い信号成分は周
波数帯域の低い信号成分よりも低い閾値によって比較さ
れるものとなる。
求項2乃至4記載の閾値制御手段は、音声信号の信号ス
ペクトルを演算し出力するスペクトル演算部と、該スペ
クトル演算部のスペクトル出力が所定の時間に所定の閾
値を越える回数を計数する計数部とを有することとして
いる。これにより、弁別手段によって所定の周波数帯域
により弁別された出力は、認識対象の音声以外の背景雑
音がスペクトル演算部によって信号スペクトルが演算さ
れて計数部によって該スペクトル出力が所定の時間に所
定の閾値を越える回数が計数されて閾値が変化される比
較手段によって比較されるものとなる。
求項2乃至4記載の閾値制御手段は、音声信号を長さの
異なる時間にわたって入力レベルの平均値を演算し出力
する平均値演算部と、該平均値演算部からの平均値演算
出力を比較する比較部とを有することとしている。これ
により、弁別手段によって所定の周波数帯域により弁別
された出力は、認識対象の音声以外の背景雑音が平均値
演算部によって長さの異なる時間にわたって入力レベル
の平均値が演算された後それぞれを比較して閾値が変化
される比較手段によって比較されるものとなる。
識対象の音声を認識する装置において、背景雑音ととも
に前記認識対象の音声信号を入力する音声入力手段と、
該音声信号を少なくとも2つの所定の音素別に弁別する
弁別手段と、該弁別手段からの出力が所定の順に出力さ
れることを識別するための演算手段と、を備えることと
している。これにより、音声入力手段から入力された音
声信号が少なくとも2つの弁別手段によて所定の音素別
に弁別して出力され、演算手段によって所定の順に出力
されることが識別されて認識されるものとなる。
1の実施の形態を図1乃至図3に基づいて、第2の実施
の形態を図4に基づいて、第3の実施の形態を図5に基
づいて、それぞれ説明する。
の形態の音声認識装置を示す機能ブロック図である。図
2は、図1に示す音声認識装置の比較器の閾値の説明図
である。図3は、図1に示す音声認識装置のノイズモニ
タの構成図である。
通話を開始する拡声通話装置等にて認識対象の音声を認
識するもので、音声入力手段に相当するマイクロフォン
1と、所定の周波数帯域によって弁別する弁別手段に相
当する3つの帯域フィルタ2と、比較手段に相当する比
較器3と、閾値制御手段に相当するノイズモニタ4と、
演算手段に相当するAND回路5と、を備えている。
識対象の音声信号を入力するもので、それに限定される
ものではないが、この実施の形態では小型のコンデンサ
型マイクロフォンによって構成される。
出力される音声信号を所定の周波数帯域によって弁別す
るもので、この実施の形態では3つの周波数帯域の帯域
フィルタ2a、2b、2cがそれぞれ並列に接続され
る。この帯域フィルタ2は、所定の帯域の音声信号を通
過させるバンドパスフィルタで、通過する周波数帯域の
中心周波数を、認識する「はい」という音声におけるフ
ォルマント周波数としている。フォルマント周波数は、
所定の音声波形のスペクトルのエネルギーの集中部分の
周波数で、この実施の形態では、例えば応答のための
「はい」という音声を認識することとしている。そし
て、帯域フィルタ2aを第1フォルマント周波数f1の
250Hz、帯域フィルタ2bを第2フォルマント周波
数f2の800Hz、帯域フィルタ2cを第3フォルマ
ント周波数f3の1400Hzとしている。そして、そ
れぞれの帯域フィルタの通過周波数帯域を、帯域フィル
タ2aの通過周波数帯域W1を200〜300Hz、帯
域フィルタ2bの通過周波数帯域W2を700〜900
Hz、帯域フィルタ2cの通過周波数帯域W1を120
0〜1600Hzとしている。
れの出力レベルを閾値と比較するもので、3つの帯域フ
ィルタにそれぞれ接続される。この3つの比較器3a、
3b、3cは、それぞれ、帯域フィルタ2a、2b、2
cからの出力が入力され、それぞれ所定の閾値Va、V
b、Vcを有してそれぞれの出力レベルを比較する。こ
の比較器3のそれぞれの閾値Va、Vb、Vcは、図2
に示すように、入力側の帯域フィルタ2の周波数帯域の
高いものの閾値を入力側の帯域フィルタ2の周波数帯域
の低いものの閾値より小さくなるよう、Va>Vb>V
cの条件によって、例えば「はい」という音声を認識し
うるようそれぞれ設定されている。また、この閾値V
a、Vb、Vcは、後述するノイズモニタ4の出力によ
って変化する。
出力される音声信号において認識対象の音声以外の背景
雑音に基づき前記閾値を変化するもので、スペクトル演
算部4aと、該スペクトル演算部4aのスペクトル出力
が所定の時間に所定の閾値を越える回数を計数する計数
部4bと、計数部4bの計数結果によって閾値をそれぞ
れ制御する閾値制御部4cとを有して構成される。スペ
クトル演算部4aは、音声信号の信号スペクトルを演算
し出力するもので、それに限定されるものではないが、
この実施の形態ではディジタルシグナルプロセッサー
(DSP)によって構成される。このノイズモニタ4に
より、マイクロフォン1から出力される認識対象の音声
以外の背景雑音が、スペクトル演算部4aによって信号
スペクトルが演算されて出力され、計数部4bによって
該信号スペクトル出力が所定の時間に所定の閾値を越え
る回数が計数される。そして、信号スペクトル出力が所
定の時間において所定の閾値を越える回数が多い場合は
背景雑音があると判定して前記閾値Va、Vb、Vcを
変化させる。
算するもので、このものにおいては3つの入力の積算の
論理演算を行うAND回路によって構成されている。こ
のAND回路5の出力は、比較器3a、3b、3cの出
力が全てオンのときのみにオンを出力する。
認識対象の音声を認識する動作について説明する。
ると、マイクロフォン1から入力された音声に基づく音
声信号が出力される。この音声信号は、所定の増幅回路
によって増幅された後帯域フィルタ2a、2b、2cに
それぞれ入力され、帯域フィルタ2aは所定の通過周波
数帯域W1である200〜300Hz、帯域フィルタ2
bは通過周波数帯域W2である700〜900Hz、帯
域フィルタ2cは通過周波数帯域W3である1200〜
1600Hzの間の音声周波数成分のみを通過させ出力
する。そして、これら3つの出力は、それぞれ比較器3
a、3b、3cに入力され、それぞれ所定の閾値Va、
Vb、Vcと比較され閾値より入力が大きい場合、比較
器はオンを出力する。この閾値Va、Vb、Vcは、ノ
イズモニタ4によって制御されている。
ォン1から入力された音声に基づく音声信号が所定の増
幅回路(図示せず)によって増幅された後、ノイズモニ
タ4のスペクトル演算部4aに入力され入力信号の信号
スペクトルが演算により求められて制御される。即ち、
信号スペクトルが計数部4bに入力され、信号スペクト
ルが所定の時間において所定の閾値を越える回数が多い
場合は背景雑音があると判定され、閾値制御部4cによ
って閾値がそれぞれ変化される。そして、比較器3a、
3b、3cの全てがオンの出力をAND回路5に入力し
た場合のみAND回路5の出力がオンとなり、所定の音
声である「はい」という音声が認識される。
よると、マイクロフォン1から入力された音声信号が3
つの帯域フィルタ2によって所定の周波数帯域により弁
別されて出力され、ノイズモニタ4によって認識対象の
音声以外の背景雑音に基づき閾値が制御され変化する比
較器3によって比較され、AND回路5により演算され
て認識されるものとなるので、背景雑音があっても誤認
識する事がなく確実に音声を認識することができる。ま
た、音声信号が所定の音声におけるフォルマント周波数
を中心周波数とする周波数帯域によって弁別されるもの
となるので、認識対象である所定の音声の認識能力が向
上する。また、音声信号の周波数帯域の高い信号成分は
周波数帯域の低い信号成分よりも低い閾値によって比較
されるものとなるので、例えば音声認識装置の電源回路
のトランスの振動による低い周波数の背景雑音があって
も、認識対象である所定の音声を確実に認識できる。ま
た、帯域フィルタ2によって所定の周波数帯域により弁
別された出力は、認識対象の音声以外の背景雑音がノイ
ズモニタ4のスペクトル演算部4aによって信号スペク
トルが演算されて、計数部4bにより該信号スペクトル
出力が所定の時間に所定の閾値を越える回数が計数され
閾値が変化される比較器3によって比較されるものとな
るので、背景雑音の特徴に見合って閾値が制御されて変
化し、認識対象である所定の音声の認識能力が向上す
る。
の形態の音声認識装置のノイズモニタの構成図である。
音声認識装置のノイズモニタ4の構成のみ異なるもの
で、他の部分は同一に構成される。
ォン1から出力される音声信号において認識対象の音声
以外の背景雑音に基づき3つの比較器3a、3b、3c
の閾値Va、Vb、Vcを変化するもので、平均値演算
部4dと、該平均値演算部4dからの平均値演算出力を
比較する比較部4eと、比較部4eの比較結果によって
閾値をそれぞれ制御する閾値制御部4fとを有する。平
均値演算部4dは、音声信号を長さの異なる時間にわた
って入力レベルの平均値を演算し出力するもので、例え
ば、入力レベルの平均値を演算する演算時間を異なった
値を持つ第1平均値演算部及び第2平均値演算部によっ
て構成される。このノイズモニタ4により、マイクロフ
ォン1から出力される認識対象の音声以外の背景雑音
が、平均値演算部4d即ち第1平均値演算部と第2平均
値演算部によって長さの異なる時間にわたって入力レベ
ルの平均値が演算された後、比較部4eによって比較さ
れる。そして、短時間平均値出力>長時間平均値出力の
場合は音声入力、短時間平均値出力<長時間平均値出力
の場合は背景雑音入力と判定して前記閾値Va、Vb、
Vcを変化させる。なお、平均値演算部4dは、平均値
演算時間の異なる第1平均値演算部と第2平均値演算部
による構成に限定するものでなく、DSPによって構成
してもよい。
よると、帯域フィルタ2によって所定の周波数帯域によ
り弁別された出力は、認識対象の音声以外の背景雑音が
平均値演算部4dによって長さの異なる時間にわたって
入力レベルの平均値が演算された後それぞれを比較して
閾値が変化される比較手段によって比較されるものとな
るので、背景雑音の継続時間に見合って閾値が制御され
て変化し、認識対象である所定の音声の認識能力が向上
する。
の形態の音声認識装置を示す機能ブロック図である。
するマイクロフォン1と、所定の音素別に弁別する弁別
手段に相当する3つの音素検知回路6と、演算手段に相
当する演算器7と、を備えている。
ものと同一のものによって構成される。
出力される音声信号を所定の音素別に弁別するもので、
この実施の形態では3つのものがそれぞれ並列に接続さ
れる。この音素検知回路6は、所定の音声の音素を検知
するもので、帯域フィルタが、通過する音声信号の所定
の音素を検出するフォルマント周波数の周波数帯域の中
心周波数と所定の閾値とを持って構成されている。音素
検知回路6は、この実施の形態においては、例えば認識
する「はい」という音声における「h」、「a」、
「i」の3つの音素を検知する音素検知回路6a、6
b、6cを持って構成されている。
演算するもので、音素検知回路6a、6b、6cからの
3つの出力が所定の順に出力されることを識別する識別
回路によって構成されている。この演算器7の出力は、
音素検知回路6a、6b、6cからの入力が、最初に
「h」の音素検知回路である6aから入力され、次に
「a」の音素検知回路である6bから入力され、次に
「i」の音素検知回路である6cから入力されときのみ
にオンが出力される。
よると、マイクロフォン1から入力された音声信号が3
つの音素検知回路6a、6b、6cによて所定の音素別
に弁別して出力され、演算器5によって所定の順に出力
されることが識別されて認識されるものとなるので、認
識対象の所定の音声の音素に見合って出力の順が認識さ
れ所定の音声の認識能力が向上する。
方法及び装置によれば、少なくとも2つの周波数帯域に
よって弁別したそれぞれの出力レベルが認識対象の音声
以外の背景雑音に基づき閾値を変化して比較され、音声
が認識されるので、背景雑音があっても誤認識する事が
なく確実に音声を認識することができる。
求項2記載のものの効果に加え、音声信号が所定の音声
におけるフォルマント周波数を中心周波数とする周波数
帯域によって弁別されるものとなるので、認識対象であ
る所定の音声の認識能力が向上する。
求項2又は3記載のものの効果に加え、音声信号の周波
数帯域の高い信号成分は周波数帯域の低い信号成分より
も低い閾値によって比較されるものとなるので、例えば
音声認識装置の電源回路のトランスの振動による低い周
波数の背景雑音があっても、認識対象である所定の音声
を確実に認識できる。
求項2乃至4記載のものの効果に加え、弁別手段によっ
て所定の周波数帯域により弁別された出力は、認識対象
の音声以外の背景雑音がスペクトル演算部によって信号
スペクトルが演算されて計数部によって該スペクトル出
力が所定の時間に所定の閾値を越える回数が計数されて
閾値が変化される比較手段によって比較されるものとな
るので、背景雑音の特徴に見合って閾値が制御されて変
化し、認識対象である所定の音声の認識能力が向上す
る。
求項2乃至4記載のものの効果に加え、弁別手段によっ
て所定の周波数帯域により弁別された出力は、認識対象
の音声以外の背景雑音が平均値演算部によって長さの異
なる時間にわたって入力レベルの平均値が演算された後
それぞれを比較して閾値が変化される比較手段によって
比較されるものとなるので、背景雑音の継続時間に見合
って閾値が制御されて変化し、認識対象である所定の音
声の認識能力が向上する。
声入力手段から入力された音声信号が少なくとも2つの
弁別手段によて所定の音素別に弁別して出力され、演算
手段によって所定の順に出力されることが識別されて認
識されるものとなるので、認識対象の所定の音声の音素
に見合って出力の順が認識され所定の音声の認識能力が
向上する。
す機能ブロック図である。
明図である。
成図である。
タの構成図である。
ロック図である。
Claims (7)
- 【請求項1】 認識対象の音声を認識する方法におい
て、背景雑音とともに前記認識対象の音声信号を入力し
て少なくとも2つの周波数帯域によって弁別し、該周波
数帯域のそれぞれの出力レベルを認識対象の音声以外の
背景雑音に基づき閾値を変化して比較し、比較した結果
を演算することによって該認識対象の音声を認識するこ
とを特徴とする音声認識方法。 - 【請求項2】 認識対象の音声を認識する装置におい
て、背景雑音とともに前記認識対象の音声信号を入力す
る音声入力手段と、該音声信号を少なくとも2つの所定
の周波数帯域によって弁別する弁別手段と、該弁別手段
からのそれぞれの出力レベルを閾値と比較する比較手段
と、認識対象の音声以外の背景雑音に基づき前記閾値を
変化する閾値制御手段と、前記比較手段からの出力を演
算する演算手段と、を備えることを特徴とする音声認識
装置。 - 【請求項3】 前記弁別手段の周波数帯域の中心を、認
識する所定の音声におけるフォルマント周波数とするこ
とを特徴とする請求項2記載の音声認識装置。 - 【請求項4】 前記比較手段は、入力側の弁別手段の周
波数帯域の高いものの閾値を入力側の弁別手段の周波数
帯域の低いものの閾値より小さくすることを特徴とする
請求項2又は3記載の音声認識装置。 - 【請求項5】 前記閾値制御手段は、音声信号の信号ス
ペクトルを演算し出力するスペクトル演算部と、該スペ
クトル演算部からのスペクトル出力が所定の時間に所定
の閾値を越える回数を計数する計数部とを有することを
特徴とする請求項2乃至4記載の音声認識装置。 - 【請求項6】 前記閾値制御手段は、音声信号を長さの
異なる時間にわたって入力レベルの平均値を演算し出力
する平均値演算部と、該平均値演算部からの平均値演算
出力を比較する比較部とを有することを特徴とする請求
項2乃至4記載の音声認識装置。 - 【請求項7】 認識対象の音声を認識する装置におい
て、背景雑音とともに前記認識対象の音声信号を入力す
る音声入力手段と、該音声信号を少なくとも2つの所定
の音素別に弁別する弁別手段と、該弁別手段からの出力
が所定の順に出力されることを識別するための演算手段
と、を備えることを特徴とする音声認識装置
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10728496A JP3550871B2 (ja) | 1996-04-26 | 1996-04-26 | 音声認識方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10728496A JP3550871B2 (ja) | 1996-04-26 | 1996-04-26 | 音声認識方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09292894A true JPH09292894A (ja) | 1997-11-11 |
| JP3550871B2 JP3550871B2 (ja) | 2004-08-04 |
Family
ID=14455191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10728496A Expired - Fee Related JP3550871B2 (ja) | 1996-04-26 | 1996-04-26 | 音声認識方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3550871B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007279743A (ja) * | 2006-04-06 | 2007-10-25 | Toshiba Corp | 話者認証登録及び確認方法並びに装置 |
-
1996
- 1996-04-26 JP JP10728496A patent/JP3550871B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007279743A (ja) * | 2006-04-06 | 2007-10-25 | Toshiba Corp | 話者認証登録及び確認方法並びに装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3550871B2 (ja) | 2004-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10971169B2 (en) | Sound signal processing device | |
| US6154721A (en) | Method and device for detecting voice activity | |
| US4764966A (en) | Method and apparatus for voice detection having adaptive sensitivity | |
| US10157603B2 (en) | Noise detector and sound signal output device | |
| EP1540646A2 (en) | Voice controlled system and method | |
| JP3134557B2 (ja) | ハウリング抑制装置 | |
| US20050267745A1 (en) | System and method for babble noise detection | |
| JPH09292894A (ja) | 音声認識方法及び装置 | |
| JPH02232697A (ja) | 音声認識装置 | |
| JP3114757B2 (ja) | 音声認識装置 | |
| JPH04163497A (ja) | 音声区間検出方法 | |
| JP2975712B2 (ja) | 音声切出し方式 | |
| JPH02176796A (ja) | 音声認識装置 | |
| JPH06175676A (ja) | 音声検出器 | |
| JPS63118197A (ja) | 音声検出装置 | |
| CA1127764A (en) | Speech recognition system | |
| JP2000352987A (ja) | 音声認識装置 | |
| JPH0297998A (ja) | 音声判定方式 | |
| JPH0383100A (ja) | 音声区間の検出装置 | |
| JPH0632535B2 (ja) | ハウリング抑圧装置 | |
| JP2885801B2 (ja) | 変復調装置 | |
| JPS63226698A (ja) | 不特定話者電話音声認識装置 | |
| JPS62287297A (ja) | 音声検出装置 | |
| JPH06318099A (ja) | 話者認識装置 | |
| JPS6219760B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040412 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |