JP2000305579A - 音声検出器 - Google Patents
音声検出器Info
- Publication number
- JP2000305579A JP2000305579A JP11115713A JP11571399A JP2000305579A JP 2000305579 A JP2000305579 A JP 2000305579A JP 11115713 A JP11115713 A JP 11115713A JP 11571399 A JP11571399 A JP 11571399A JP 2000305579 A JP2000305579 A JP 2000305579A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- signal
- background noise
- noise power
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
きい状況下においても参照信号に音声信号が含まれてい
るか否かを精度良く検出する。 【解決手段】背景雑音パワー推定切替部4では、参照信
号Vxに含まれる音響結合成分の割合が大きいときに背
景雑音パワー推定部2の推定処理を停止させる。これに
より、背景雑音パワー推定値Pnが、通話状態によらず
にマイクロホン10周辺の背景雑音パワーを近似した値
となる。その結果、マイクロホン10とスピーカ11と
の間の距離が短く、音響結合利得が大きい系においても
遠端側の背景雑音がマイクロホン10に回り込むことに
よる音声検出性能の劣化を低減し、背景雑音レベルが大
きい状況下においても参照信号に音声信号が含まれてい
るか否かを精度良く検出することができる。
Description
場等で用いられる拡声通話装置(インターホン、電話
機、PHS等)における通話回路に雑音除去機能や音声
切替機能等を搭載するための音声検出器に関するもので
ある。
り集音された音響信号が音声信号を含んでいるか否かを
検出するために用いられる。このような音声検出器の典
型的な構成例を図5に示す。この音声検出器VD′は、
瞬時パワー推定部20、背景雑音パワー推定部21並び
に比較判定部22を備える。瞬時パワー推定部20は、
立ち上がりが急峻であり且つ立ち下がりが緩やかな特性
をもつ積分回路又はデジタルフィルタ等により実現さ
れ、参照信号(マイクロホンにより集音される音響信
号)の短時間平均パワーを推定するものである。また背
景雑音パワー推定部21は、立ち上がりが緩やかであり
且つ立ち下がりが急峻な特性をもつ積分回路又はデジタ
ルフィルタ等により実現され、参照信号中に定常的に存
在する暗騒音(背景雑音)レベルを推定するものであ
る。さらに比較判定部22は、瞬時パワー推定部20に
より求められる瞬時パワー推定値と、背景雑音パワー推
定部21により求められる背景雑音パワー推定値の比を
所定のしきい値と比較することにより、参照信号が音声
信号を含んでいるか否かを判定(検出)してH又はLの
2値信号(検出信号)を出力する。
びマイクロホンを有する拡声通話機(図示せず)の内部
回路に上述のような音声検出器VD′を設ける場合、マ
イクロホンにより集音される音響信号にはスピーカから
の回り込み成分(音響結合成分)が含まれる。この音響
信号に含まれる回り込み成分の割合が大きい場合には、
本来の目的であるマイクロホンの近傍に居る話者が音声
を発したか否かを検出することが困難となる。例えば、
遠端側の通話端末付近の背景雑音レベルが大きく、音響
結合を経てマイクロホンが遠端側の背景雑音を集音する
場合には、上記従来例における背景雑音パワー推定部2
1により求められる背景雑音パワー推定値が大きくな
る。その結果、マイクロホンの近傍に居る話者が音声を
発した状態においても、瞬時パワー推定値と背景雑音パ
ワー推定値との比が小さく、所定のしきい値を越えるこ
とができずに比較判定部22においては音声信号でない
(非音声)として誤検出されてしまう虞がある。
あり、その目的とするところは、背景雑音レベルが大き
い状況下においても参照信号に音声信号が含まれている
か否かを精度良く検出することができる音声検出器を提
供することにある。
目的を達成するために、マイクロホン及びスピーカを有
する拡声通話端末が他の通話端末又は拡声通話端末に接
続されて半二重通話を行う拡声通話系の上記拡声通話端
末に用いられ、通話路に伝送される信号が音声信号であ
るか非音声信号であるかを検出する音声検出器であっ
て、上記通話路から取り出した参照信号の瞬時パワーを
推定する瞬時パワー推定部と、上記参照信号に含まれる
背景雑音成分のパワーを推定する背景雑音パワー推定部
と、上記瞬時パワー推定部で推定される瞬時パワー推定
値並びに上記背景雑音パワー推定部で推定される背景雑
音パワー推定値に基づいて参照信号が音声信号であるか
非音声信号であるかを判定するとともに判定結果が更新
されるまで前回の判定結果を保持する第1の音声/非音
声判定部と、上記背景雑音パワー推定部における背景雑
音パワー推定値の更新/停止を切り替える背景雑音パワ
ー推定切替部とを備えたことを特徴とし、参照信号に含
まれる音響結合成分の割合が大きい場合には背景雑音パ
ワー推定切替部によって背景雑音パワー推定部の処理を
停止するとともに、参照信号に含まれる音響結合成分の
割合が小さい状況で求められて背景雑音パワー推定部が
保持していた背景雑音パワー推定値に基づいて第1の音
声/非音声判定部による判定が行われるため、遠端側の
通話端末における背景雑音がスピーカから送出されてマ
イクロホンに回り込むことにより、マイクロホンの集音
する音響信号における近端側話者の発する音声成分とそ
れ以外の背景雑音成分との比が小さくなることに起因し
て参照信号中に音声信号が含まれていても音声信号が検
出できなくなるような状況を低減することができ、背景
雑音レベルが大きい状況下においても参照信号が音声信
号であるか否かを精度良く検出することができる。
て、上記第1の音声/非音声判定部による判定結果に応
じて参照信号が非音声信号であると検出された音声非検
出継続時間を求める音声非検出区間計時部と、該音声非
検出区間計時部により求められた音声非検出継続時間か
ら上記参照信号が音声信号と非音声信号の何れであるか
を判定する第2の音声/非音声判定部とを備え、該第2
の音声/非音声判定部は、上記音声非検出区間計時部に
より求められる音声非検出継続時間が人間の音声の音韻
継続時間程度の時間にわたって略一定であり、且つ上記
音声非検出継続時間が人間の音声のピッチ周期程度であ
る場合には該音声非検出継続時間の参照信号を全て音声
信号と判定して成ることを特徴とし、背景雑音レベルが
非常に大きい状況下で第1の音声/非音声判定部におい
ては音声信号が検出されないような場合においても、音
声非検出区間計時部において測定される音声非検出継続
時間が音声の音韻継続時間程度の間ほぼ一定であり、且
つ人間の音声のピッチ間隔とほぼ等しい場合には、第2
の音声/非音声判定部において改めて参照信号を音声信
号として判定するから、背景雑音レベルの大きい拡声通
話系において音声信号をさらに精度良く検出することが
できる。
実施形態1における音声検出器VD1を有する拡声通話
機Mを示すブロック図である。この拡声通話機Mは、マ
イクロホン10、スピーカ11、マイクロホンアンプ1
5、スピーカアンプ16、音声検出器VD1並びに音声
スイッチVSを備え、回線を通じて他の拡声通話機等と
接続される。ここで音声スイッチVSは、スピーカ11
からマイクロホン10への音響結合、及び回線側での回
り込みにより形成される閉ループの利得を低減させるこ
とによりハウリングを抑圧するものであり、マイクロホ
ン10で集音する音声信号(送話信号)を回線へ伝送す
るための送話信号線上に挿入される送話側減衰器12
と、回線から受信した音声信号(受話信号)をスピーカ
11へ伝送するための受話信号線上に挿入される受話側
減衰器13と、通話状態に応じて送話側減衰器12並び
に受話側減衰器13の利得を制御する挿入損失量制御部
14とを備える。而して、挿入損失量制御部14におい
ては、送受話信号を観測して通話状態を判定し、通話状
態に応じて送話側減衰器12の利得及び受話側減衰器1
3の利得を適切に設定する。
(送話信号線)から取り出した参照信号(送話信号)V
xの瞬時パワーを推定する瞬時パワー推定部1と、参照
信号Vxに含まれる背景雑音成分のパワーを推定する背
景雑音パワー推定部2と、瞬時パワー推定部1で推定さ
れる瞬時パワー推定値Ps並びに背景雑音パワー推定部
2で推定される背景雑音パワー推定値Pnに基づいて参
照信号Vxが音声信号であるか非音声信号であるかを判
定するとともに判定結果が更新されるまで前回の判定結
果を保持する第1の音声/非音声判定部3と、背景雑音
パワー推定部2における背景雑音パワー推定値Pnの更
新/停止を切り替える背景雑音パワー推定切替部4とを
備える。
であり、且つ立ち下がりが緩やかな特性をもつ積分回路
又はデジタルフィルタ等によって構成される。また、背
景雑音パワー推定部2は、立ち上がりが緩やかであり、
且つ立ち下がりが急峻な特性をもつ積分回路又はデジタ
ルフィルタによって構成される。
2に示すように瞬時パワー推定部1から出力される瞬時
パワー推定値Psを所定のしきい値Ps0と比較してH又
はLの2値信号D1を出力するコンパレータCP1と、
瞬時パワー推定値Psと背景雑音パワー推定部2から出
力される背景雑音パワー推定値Pnとの比Ps/Pnを
求める除算器3aと、除算器3aの出力値Ps/Pnを
所定のしきい値δと比較してH又はLの2値信号D2を
出力するコンパレータCP2と、2つの2値信号D1,
D2の論理積を求める論理積演算部3bとにより構成さ
れる。而して、本実施形態においては、瞬時パワー推定
値Psがしきい値Ps0よりも大きく(Ps>Ps0)、且
つ除算器3aの出力Ps/Ps0がしきい値δよりも大き
い(Ps/Ps0>δ)場合に音声信号と判定し、その他
の場合に非音声信号と判定する。ここで、しきい値Ps0
は音声信号の最小レベルを規定するしきい値であり、し
きい値δは音声信号レベルと背景騒音レベルとの最小比
を規定するしきい値である。
ッチVSの挿入損失量制御部14から出力される制御信
号Vsによりオンオフされて背景雑音パワー推定部2に
対する参照信号Vxの入力を入/切するスイッチ等で構
成される。そして、背景雑音パワー推定部2は、背景雑
音パワー推定切替部4がオンして参照信号Vxが入力さ
れている場合に更新モードとなり、背景雑音パワー推定
切替部4がオフして参照信号Vxが入力されない場合に
停止モードとなる。ここで更新モードにおいては、背景
雑音パワー推定部2が参照信号Vxを参照して逐次背景
雑音パワー推定値Pnを更新する。また、停止モードに
おいては、背景雑音パワー推定部2が上記演算処理を停
止し、背景雑音パワー推定値Pnとしてそれ以前に求め
られた値を保持する。
失量制御部14は、通話状態を受話状態と判定したとき
に制御信号Vsにより背景雑音パワー推定切替部4をオ
フするとともに、送話状態と判定したときに制御信号V
sにより背景雑音パワー推定切替部4をオンする。而し
て、背景雑音パワー推定部2では受話状態の時に停止モ
ードとなり、送話状態の時に更新モードとなるから、音
声検出器VD1においては、参照信号Vxに含まれる音
響結合成分の割合が大きいときに背景雑音パワー推定部
2の推定処理を停止することによって、背景雑音パワー
推定値Pnを、通話状態によらずにマイクロホン10周
辺の背景雑音パワーを近似した値とすることができる。
その結果、マイクロホン10とスピーカ11との間の距
離が短く、音響結合利得が大きい系においても遠端側の
背景雑音がマイクロホン10に回り込むことによる音声
検出性能の劣化を低減することができる。なお、音声検
出器VD1の検出信号(検出フラグ)SD1は、例えば
音声スイッチVSに与えられて種々の制御に利用され
る。
1によれば、参照信号Vxに含まれる音響結合成分の割
合が大きい場合には背景雑音パワー推定切替部4によっ
て背景雑音パワー推定部3の処理を停止するとともに、
参照信号Vxに含まれる音響結合成分の割合が小さい状
況で求められて背景雑音パワー推定部2が保持していた
背景雑音パワー推定値Pnに基づいて第1の音声/非音
声判定部4による判定が行われるため、遠端側の通話端
末における背景雑音がスピーカ11から送出されてマイ
クロホン10に回り込むことにより、マイクロホン10
の集音する音響信号における近端側話者の発する音声成
分とそれ以外の背景雑音成分との比が小さくなることに
起因して参照信号Vx中に音声信号が含まれていても音
声信号が検出できなくなるような状況を低減することが
でき、スピーカ11からマイクロホン10までの間の距
離が短くて音響結合利得が大きい系においても参照信号
Vxが音声信号であるか否かを精度良く検出することが
できる。
2における音声検出器VD2のブロック図を示してい
る。但し、本実施形態の基本的な構成は実施形態1と共
通するので、共通する構成には同一の符号を付して説明
を省略する。
3の検出信号SD1に基づいて、図4に示すように参照
信号Vxが非音声信号であると判定された時間、すなわ
ち検出信号SD1がLレベルである時間(以下、「音声
非検出継続時間」という)τ 1,τ2,…を求める音声非
検出区間計時部5と、音声非検出区間計時部5により求
められた音声非検出継続時間τ1,τ2,…に基づいて参
照信号Vxが音声信号と非音声信号の何れであるかを判
定する第2の音声/非音声判定部6とを備えた点に特徴
がある。
出信号SD1がLからHに変化する毎に計時処理をリセ
ットするが、それ以前の計時結果(音声非検出継続時間
τ1…)を少なくとも音声信号における音韻継続時間程
度の間だけRAM等の記憶手段に保持している。
は、音声非検出区間計時部5の記憶手段に記憶された音
声非検出継続時間τ1,τ2,…,τNを参照し、これら
の値が人間の音声の音韻継続時間程度の時間にわたって
略一定であり、且つ人間の音声のピッチ間隔程度である
場合には、これらの区間τ1〜τNを改めて音声区間とし
て検出し、Hレベルの検出信号SD2を出力する(図4
参照)。
うにマイクロホン10付近における周囲騒音レベルVN
が高く、瞬時パワー推定値PSと背景雑音パワー推定値
Pnとの比Ps/Pnが小さいために、参照信号Vxに
音声が含まれているにも拘わらず、第1の音声/非音声
判定部3においては非音声信号として判定されてしまう
ような場合において、第2の音声/非音声判定部6にお
いて改めて音声信号として検出することが可能となる。
その結果、実施形態1に対して背景雑音レベルの大きい
拡声通話系においても音声信号をさらに精度良く検出す
ることができるという利点がある。
ピーカを有する拡声通話端末が他の通話端末又は拡声通
話端末に接続されて半二重通話を行う拡声通話系の上記
拡声通話端末に用いられ、通話路に伝送される信号が音
声信号であるか非音声信号であるかを検出する音声検出
器であって、上記通話路から取り出した参照信号の瞬時
パワーを推定する瞬時パワー推定部と、上記参照信号に
含まれる背景雑音成分のパワーを推定する背景雑音パワ
ー推定部と、上記瞬時パワー推定部で推定される瞬時パ
ワー推定値並びに上記背景雑音パワー推定部で推定され
る背景雑音パワー推定値に基づいて参照信号が音声信号
であるか非音声信号であるかを判定するとともに判定結
果が更新されるまで前回の判定結果を保持する第1の音
声/非音声判定部と、上記背景雑音パワー推定部におけ
る背景雑音パワー推定値の更新/停止を切り替える背景
雑音パワー推定切替部とを備えたので、参照信号に含ま
れる音響結合成分の割合が大きい場合には背景雑音パワ
ー推定切替部によって背景雑音パワー推定部の処理を停
止するとともに、参照信号に含まれる音響結合成分の割
合が小さい状況で求められて背景雑音パワー推定部が保
持していた背景雑音パワー推定値に基づいて第1の音声
/非音声判定部による判定が行われるため、遠端側の通
話端末における背景雑音がスピーカから送出されてマイ
クロホンに回り込むことにより、マイクロホンの集音す
る音響信号における近端側話者の発する音声成分とそれ
以外の背景雑音成分との比が小さくなることに起因して
参照信号中に音声信号が含まれていても音声信号が検出
できなくなるような状況を低減することができ、背景雑
音レベルが大きい状況下においても参照信号が音声信号
であるか否かを精度良く検出することができるという効
果がある。
声判定部による判定結果に応じて参照信号が非音声信号
であると検出された音声非検出継続時間を求める音声非
検出区間計時部と、該音声非検出区間計時部により求め
られた音声非検出継続時間から上記参照信号が音声信号
と非音声信号の何れであるかを判定する第2の音声/非
音声判定部とを備え、該第2の音声/非音声判定部が、
上記音声非検出区間計時部により求められる音声非検出
継続時間が人間の音声の音韻継続時間程度の時間にわた
って略一定であり、且つ上記音声非検出継続時間が人間
の音声のピッチ周期程度である場合には該音声非検出継
続時間の参照信号を全て音声信号と判定して成るので、
背景雑音レベルが非常に大きい状況下で第1の音声/非
音声判定部においては音声信号が検出されないような場
合においても、音声非検出区間計時部において測定され
る音声非検出継続時間が音声の音韻継続時間程度の間ほ
ぼ一定であり、且つ人間の音声のピッチ間隔とほぼ等し
い場合には、第2の音声/非音声判定部において改めて
参照信号を音声信号として判定するから、背景雑音レベ
ルの大きい拡声通話系において音声信号をさらに精度良
く検出することができるという効果がある。
る。
ック図である。
Claims (2)
- 【請求項1】 マイクロホン及びスピーカを有する拡声
通話端末が他の通話端末又は拡声通話端末に接続されて
半二重通話を行う拡声通話系の上記拡声通話端末に用い
られ、通話路に伝送される信号が音声信号であるか非音
声信号であるかを検出する音声検出器であって、上記通
話路から取り出した参照信号の瞬時パワーを推定する瞬
時パワー推定部と、上記参照信号に含まれる背景雑音成
分のパワーを推定する背景雑音パワー推定部と、上記瞬
時パワー推定部で推定される瞬時パワー推定値並びに上
記背景雑音パワー推定部で推定される背景雑音パワー推
定値に基づいて参照信号が音声信号であるか非音声信号
であるかを判定するとともに判定結果が更新されるまで
前回の判定結果を保持する第1の音声/非音声判定部
と、上記背景雑音パワー推定部における背景雑音パワー
推定値の更新/停止を切り替える背景雑音パワー推定切
替部とを備えたことを特徴とする音声検出器。 - 【請求項2】 上記第1の音声/非音声判定部による判
定結果に応じて参照信号が非音声信号であると検出され
た音声非検出継続時間を求める音声非検出区間計時部
と、該音声非検出区間計時部により求められた音声非検
出継続時間から上記参照信号が音声信号と非音声信号の
何れであるかを判定する第2の音声/非音声判定部とを
備え、該第2の音声/非音声判定部は、上記音声非検出
区間計時部により求められる音声非検出継続時間が人間
の音声の音韻継続時間程度の時間にわたって略一定であ
り、且つ上記音声非検出継続時間が人間の音声のピッチ
周期程度である場合には該音声非検出継続時間の参照信
号を全て音声信号と判定して成ることを特徴とする請求
項1記載の音声検出器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11571399A JP3580175B2 (ja) | 1999-04-23 | 1999-04-23 | 音声検出器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11571399A JP3580175B2 (ja) | 1999-04-23 | 1999-04-23 | 音声検出器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000305579A true JP2000305579A (ja) | 2000-11-02 |
| JP3580175B2 JP3580175B2 (ja) | 2004-10-20 |
Family
ID=14669350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11571399A Expired - Fee Related JP3580175B2 (ja) | 1999-04-23 | 1999-04-23 | 音声検出器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3580175B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2385249A (en) * | 2002-01-10 | 2003-08-13 | Mitel Knowledge Corp | Method and apparatus of controlling noise level calculations in a conferencing system |
| WO2008123062A1 (ja) * | 2007-03-30 | 2008-10-16 | Toa Corporation | エコーキャンセラ |
-
1999
- 1999-04-23 JP JP11571399A patent/JP3580175B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2385249A (en) * | 2002-01-10 | 2003-08-13 | Mitel Knowledge Corp | Method and apparatus of controlling noise level calculations in a conferencing system |
| GB2385249B (en) * | 2002-01-10 | 2005-10-12 | Mitel Knowledge Corp | Method and apparatus of controlling noise level calculations in a conferencing system |
| US7085715B2 (en) | 2002-01-10 | 2006-08-01 | Mitel Networks Corporation | Method and apparatus of controlling noise level calculations in a conferencing system |
| WO2008123062A1 (ja) * | 2007-03-30 | 2008-10-16 | Toa Corporation | エコーキャンセラ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3580175B2 (ja) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102039866B1 (ko) | 적응형 잡음 제거 시스템에서의 다운링크 톤 검출 및 2차 경로 응답 모델의 적응 | |
| US5007046A (en) | Computer controlled adaptive speakerphone | |
| CN100502443C (zh) | 在通信系统中控制回声抑制的设备 | |
| US7881927B1 (en) | Adaptive sidetone and adaptive voice activity detect (VAD) threshold for speech processing | |
| US5058153A (en) | Noise mitigation and mode switching in communications terminals such as telephones | |
| CN1174623A (zh) | 声音活动检测 | |
| US6385176B1 (en) | Communication system based on echo canceler tap profile | |
| US8363820B1 (en) | Headset with whisper mode feature | |
| US4887288A (en) | Self calibration arrangement for a voice switched speakerphone | |
| TWI666631B (zh) | 柔和噪音產生裝置與方法 | |
| JPS59193660A (ja) | 会議電話装置 | |
| JPH1174822A (ja) | 音響反響制御システム、音響反響制御システムの同時通話検出器及び音響反響制御システムの同時通話制御方法 | |
| JPH08293820A (ja) | 音響エコー抑制回路 | |
| KR970007982B1 (ko) | 통신 라인 적응용 컴퓨터 제어 스피커폰 | |
| KR20040011477A (ko) | 에코로 인한 잘못된 조정을 제거하기 위한 휴대형 통신장치에서의 스피커폰 동작을 조정하는 방법 | |
| JP3533051B2 (ja) | 自動音声応答機能付き電話機 | |
| JP3580175B2 (ja) | 音声検出器 | |
| JPH08335976A (ja) | 拡声通話装置 | |
| JP3761473B2 (ja) | ハンズフリー通話用アダプタ装置 | |
| JPH08335977A (ja) | 拡声通話装置 | |
| JP6778632B2 (ja) | インターホン装置 | |
| JPS63299434A (ja) | 通話切換制御方式 | |
| WO2002039709A1 (en) | Control system of acoustic echo cancellers for telephone terminals with handset or handsfree | |
| KR970011413B1 (ko) | 전화기의 스피커폰 통화시 자동 루프 오프 장치 및 방법 | |
| JPS6212249A (ja) | 音声スイツチ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040712 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070730 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |