JPH10126272A - オーディオデータ伝送方式 - Google Patents
オーディオデータ伝送方式Info
- Publication number
- JPH10126272A JPH10126272A JP8273792A JP27379296A JPH10126272A JP H10126272 A JPH10126272 A JP H10126272A JP 8273792 A JP8273792 A JP 8273792A JP 27379296 A JP27379296 A JP 27379296A JP H10126272 A JPH10126272 A JP H10126272A
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- frequency component
- data
- audio data
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 3
- 230000007704 transition Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000000872 buffer Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
常にリアルタイム性を損なわずにオーディオデータを伝
送する。 【解決手段】 オーディオデータは直交変換部1で時間
−周波数直交変換されたのち、高域成分制限部2に入力
される。高域成分制限部2は、状態選択部3からの状態
情報に基づいて周波数スペクトラムデータの高域成分を
制限する。制限情報付加部4は、高域成分制限部2から
の高域成分が制限されたデータに、データサイズや状態
選択部3から供給される制限状態等を制限情報として付
加する。制限情報が付加されたデータは、送信部5を介
して伝送路へ送出される。伝送帯域モニタ部6は、伝送
路の伝送帯域をモニタする。そして、このモニタ結果に
基づいて状態選択部3が次のデータの伝送の制限状態を
選択する。受信部では、制限された高域成分の情報を補
間処理によって補償する。
Description
変動する伝送路を介してオーディオデータをリアルタイ
ム伝送するのに好適なオーディオデータ伝送方式に関す
る。
ネットワークの進歩に伴い、通信ネットワークを介して
画像やオーディオデータの伝送が頻繁に行われるように
なってきた。特にオーディオデータの場合、音楽や音声
をリアルタイムで伝送することが重要であり、従来は、
伝送路の平均的な伝送帯域を考慮して、必要なデータ圧
縮を行って調整された固定のデータレートでオーディオ
データを伝送している。
ーネットの場合、回線のトラフィックの状況によって伝
送帯域が大きく変動するという問題がある。従って、平
均的には伝送帯域が送出したいオーディオデータのデー
タレートを満たしていても、一時的な伝送帯域の減少に
よって、リアルタイム性が損なわれ、音楽演奏の途中で
音切れが発生するといった事態が生じ、著しく聴感品質
を低下させるという問題がある。
れたもので、伝送帯域が逐次変動する伝送路において
も、常にリアルタイム性を損なわずにオーディオデータ
を伝送することができるオーディオデータ伝送方式を提
供することを目的とする。
オデータ伝送方式は、送信側で伝送路の伝送帯域を逐次
モニタして、このモニタされた伝送帯域の状況に応じて
伝送すべきオーディオデータの高域成分の伝送を制限す
ると共に、前記高域成分の制限状態を特定する制限情報
を前記オーディオデータに付加して前記伝送路に送出
し、受信側で前記制限情報に基づいて前記オーディオデ
ータの高域成分を補償して前記伝送すべきオーディオデ
ータを再構成するようにしたことを特徴とする。
帯域を逐次モニタし、このモニタされた伝送帯域の状況
に基づいて、オーディオデータの伝送を制限するので、
伝送帯域に応じてデータレートが適応的に変化し、これ
により常にリアルタイムでの伝送が保証され、音切れな
どの発生を防止することができる。しかも、この発明に
よれば、制限する情報は、聴感上影響の少ないオーディ
オデータの高域成分のみであり、且つ受信側で高域成分
が前後の周波数成分や前後の伝送データ等に基づいて補
償されるので、データレートが下がった場合でも、聴感
品質の低下は殆どない。
ーディオデータの高域成分を特定の周波数間隔で間引く
ことにより高域成分の伝送を制限することが考えられ
る。この場合には、受信側でオーディオデータの高域成
分の間引いた部分を前後の周波数成分に基づいて、例え
ば直線補間等により高域成分を補償することができる。
分のうち奇数番目の周波数成分と、高域成分のうち偶数
番目の周波数成分とを交互に伝送することにより高域成
分の伝送を制限した場合には、受信側で奇数番目の周波
数成分と偶数番目の周波数成分とに基づいて高域成分を
補償すれば良い。通常、オーディオデータの場合、隣接
フレーム間の相関は非常に高いので、高域成分をこのよ
うに偶数番目と奇数番目とで交互に間引いても、前後の
フレームから殆どもとのデータを再現することができ
る。
る周波数成分のパターンを異ならせた複数の状態を同一
パターンが連続しないように繰り返すことにより高域成
分の伝送を制限すれば、受信側でこれら複数の異なる周
波数成分のパターンから高域成分を補償することができ
る。この場合、伝送の冗長性がより一層排除されて、更
に少ないデータレートでの伝送が可能になる。
の好ましい実施の形態について説明する。図1は、この
発明の実施例に係るオーディオデータ送信装置のブロッ
ク図である。オーディオデータ等の入力データは直交変
換部1に入力され、ここで例えばFFT(Fast Fourier
Transform),DCT(Discrete Cosine Transform)
等のアルゴリズムに基づいて時間−周波数直交変換され
て周波数スペクトラムデータとなる。このデータは、高
域成分制限部2に入力される。高域成分制限部2は、後
述する状態選択部3からの状態情報に基づいて周波数ス
ペクトラムデータの高域成分を制限する。制限情報付加
部4は、高域成分制限部2からの高域成分が制限された
データに、データサイズや状態選択部3から供給される
制限状態等を制限情報として付加する。制限情報が付加
されたデータは、送信部5を介して送信データとして図
示しない伝送路を介して受信装置へ送出される。送信部
5は、また、受信装置側から返送されたACKデータを
受信する。伝送帯域モニタ部6は、送信部5からのデー
タ送信開始からACKデータ受信終了までの時間に基づ
いて、伝送路の伝送帯域をモニタする。そして、このモ
ニタ結果に基づいて状態選択部3が次のデータの伝送の
制限状態を選択する。
ータ送信装置の動作について説明する。この送信装置で
は、伝送帯域モニタ部6によって伝送路の伝送帯域が常
時モニタされる。図2は、このモニタ処理の手順を示す
フローチャートである。まず、時間カウント値TCを0
に初期化する(S1)。次に、送信部5がデータの送信
を開始したら(S2)、時間カウント値TCのカウント
アップを開始し(S3)、送信部5が受信装置からAC
Kデータを受信するまでTCのカウントを続行する(S
4)。ACKデータの受信が完了したら、現在のBPS
(Bit per Second)を下記数1のように算出する(S
5)。
値TCを実時間に換算するための係数である。以上の処
理により、伝送路の伝送帯域を現在のBPSによって把
握することができる。
帯域に応じて次の4つの制限状態のいずれか1つを選択
して高域成分制限部2を制御する。図3は、この4つの
制限状態の一例を示す図である。図は、入力データの周
波数成分(チャネル)が1からNチャネルまである場合
で、チャネルM以上がここでの制限対象である高域成分
となっている。同図(a)の状態Aは何も制限を加えな
い状態であり、伝送帯域に余裕がある場合に選択され
る。同図(b)の状態Bは、チャネルM以上の高域成分
のうち、チャネルMから数えて偶数番目のチャネルを削
除して、チャネルMから数えて奇数番目のチャネルのみ
を出力する制限状態である。伝送帯域が一時的に狭くな
った場合にこの状態が選択される。同図(c)の状態C
は、チャネルM以上の高域成分のうち、チャネルMから
数えて奇数番目のチャネルを削除して、チャネルMから
数えて偶数番目のチャネルのみを出力する制限状態であ
る。状態Bが続くような場合に選択される。同図(d)
の状態Dは、M以上のチャネルを全て削除する制限状態
であり、状態B,Cによっても伝送データが伝送帯域の
中に収まらなくなってきたときに選択される。
決定するのが状態選択部3であり、その状態遷移を示し
たのが図4である。図中、黒の太矢印はBPSが増加
(伝送帯域が拡大)した場合の遷移、白の太矢印はBP
Sが低下(伝送帯域が縮小)した場合の遷移、実線矢印
はBPSが変化しない場合の遷移をそれぞれ示してい
る。状態DのときにBPSが増加した場合には状態B
へ、状態B又はCのときにBPSが増加した場合には状
態Aへそれぞれ遷移する。状態AのときにBPSが低下
した場合には状態Bへ、状態B,CのときにBPSが低
下した場合には状態Dへそれぞれ遷移する。更に、状態
A,DのときにBPSが変動しない場合には、そのまま
の状態を維持するが、状態B,CのときにBPSが変動
しない場合には、それぞれ状態C,Bに遷移する。この
ように、状態BとCを交互に挿入するのは、各々の状態
において制限されたチャネルを連続させないためであ
り、このように制御することにより、受信側での補間精
度を上げることができる。また、この過程で帯域に余裕
が出てきた場合には、適当なタイミングで状態Aが挿入
されることになり、これりより更に補間精度は向上す
る。なお、状態A,DからBへ遷移するか、Cへ遷移す
るかは任意に設定可能である。
めの状態遷移部3の処理を示すフローチャートである。
まず、CR(今回のビットレート)に現在のBPSを格
納する(S11)。次にCRとPR(前回のビットレー
ト)とを比較し(S12)、その比較結果に応じて次の
ように処理する。 (1)CR>PR(BPSが増加した場合) PS(前回の状態)が状態Dのとき(S13)CS(現
在の状態)を状態Bとし(S14)、それ以外のときは
CSを状態Aとする(S15)。 (2)CR<PR(BPSが減少した場合) PSが状態Aのとき(S16)CSを状態Bとし(S1
7)、それ以外のときはCSを状態Dとする(S1
8)。 (3)CR=PR(BPSが不変の場合) PSが状態Bのとき(S19)CSを状態Cとし(S2
0)、PSが状態Cのとき(S21)CSを状態Bとし
(S22)、それ以外のときはCS=PSとする(S2
3)。CSが決定されたら、PR,PSをそれぞれC
R,CSに更新して終了する(S24)。
成分制限部2では、入力データから制限済みデータを生
成する。図6及び図7は、制限済みデータを生成するた
めの高域成分制限部2の処理を示すフローチャートであ
る。 (1)CS=Aのとき[図6(a)] 入力データのチャネル番号を示すループカウンタiを1
からNまで1ずつ変化させながら(S31,S33,S
34)、入力データInData(i)を出力データOutData(i)
とする処理を繰り返す(S32)。これにより、入力デ
ータがそのまま出力データとして出力される。 (2)CS=Bのとき[図6(b)] ループカウンタiを1からMまで1ずつ変化させながら
(S41,S43,S44)、入力データInData(i)を
出力データOutData(i)とする処理を繰り返す(S4
2)。iがM以上になったら(S44)、iを1だけカ
ウントアップして(S45)、iをM+1からNまで2
ずつ変化させながら(S47,S48)、入力データIn
Data(i)を出力データOutData(i)とする処理を繰り返す
(S46)。これにより、入力データの高域成分のうち
M番地から数えて偶数番目のチャネルのみが制限された
データが出力データとして出力される。
(S51,S53,S54)、入力データInData(i)を
出力データOutData(i)とする処理を繰り返す(S5
2)。iがM以上になったら(S54)、iをMからN
まで2ずつ変化させながら(S56,S57)、入力デ
ータInData(i)を出力データOutData(i)とする処理を繰
り返す(S55)。これにより、入力データの高域成分
のうちM番地から数えて奇数番目のチャネルのみが制限
されたデータが出力データとして出力される。 (4)CS=Dのとき[図7(b)] ループカウンタiを1からMまで1ずつ変化させながら
(S61,S63,S64)、入力データInData(i)を
出力データOutData(i)とする処理を繰り返す(S6
2)。これにより、入力データの高域成分が全て制限さ
れたデータが出力データとして出力される。
ら、制限情報付加部4では、図8に示すように、制限済
みデータの先頭に制限情報を付加して送信データを生成
する。制限情報は、A〜Dのいずれの制限状態であるか
を示す状態情報(例えば2ビット)と、データのサイズ
の情報からなる。
装置は、例えば図9に示すように構成することができ
る。受信データは受信部11で受信され、制限情報分離
部12で受信データのうちの制限情報のみが分離され
る。制限済みデータはデータ補償部13に供給され、こ
こで制限情報に基づく補償処理が実行される。即ち、状
態Aのときはデータがスルー状態で出力され、状態B,
C,Dのときは、データバッファ14に保存されている
前回送信されたデータに基づいて補償処理が実行され
る。状態B,Cの場合には、前回受信されたデータと今
回受信されたデータとで高域成分の奇数チャネルと偶数
チャネルとを交互に埋める処理であり、状態Dの場合に
は、前回の補償済みデータを用いた補償処理を実行すれ
ばよい。補償済みデータは、図示しない直交逆変換部に
よって周波数−時間変換されてオーディオデータが再生
される。
z、1フレーム512サンプルとすれば、1フレームの
周期は約11msであり、オーディオデータの性質を考
えると、この程度のフレーム周期であればフレーム間の
相関がかなり高いことが明らかである。従って、上述し
たようなデータの制限を行っても、前後のフレームから
再生されたデータはもとのデータと殆ど変わらない。こ
のため、この装置によれば、再生品質を殆ど落とさずに
データレートを伝送路に合わせて柔軟に制御することが
でき、リアルタイムでの伝送が可能になる。
されるものではない。上記実施例では、高域成分のチャ
ネルを固定としたが、伝送帯域に応じて更にMの値を可
変にして、より多くの制限状態から適切な状態を選択す
るようにしても良い。また、受信側での補間方法として
は、状態B,Cの場合にフレーム内の隣接チャネル間の
直線補間を行う方法も考えられるし、多少の遅延が許容
されるシステムでは、データバッファ14に複数のフレ
ーム分のデータを保存しておいて、前後フレームの同一
チャネルのデータから補間を行うことも考えられる。ま
た、状態Dについても、前フレームの補償済みデータか
ら補償する他、複数フレームのデータの同一チャネルか
ら推定可能である。
送信側で伝送路の伝送帯域を逐次モニタし、このモニタ
された伝送帯域の状況に基づいて、オーディオデータの
高域成分の伝送を制限するようにしているので、聴感品
質を殆ど下げることなく、伝送帯域に応じたデータレー
トの適応制御が可能になり、常にリアルタイムでの伝送
が保証され、音切れなどの発生を防止することができる
という効果を奏する。
置のブロック図である。
フローチャートである。
である。
図である。
フローチャートである。
態に対応した制限済みデータの生成方法を示すフローチ
ャートである。
態に対応した制限済みデータの生成方法を示すフローチ
ャートである。
る送信データのフォーマットを示す図である。
ク図である。
部、4…制限情報付加部、5…送信部、6…伝送帯域モ
ニタ部、11…受信部、12…制限情報分離部、13…
データ補償部、14…データバッファ。
Claims (4)
- 【請求項1】 送信側で伝送路の伝送帯域を逐次モニタ
して、このモニタされた伝送帯域の状況に応じて伝送す
べきオーディオデータの高域成分の伝送を制限すると共
に、前記高域成分の制限状態を特定する制限情報を前記
オーディオデータに付加して前記伝送路に送出し、 受信側で前記制限情報に基づいて前記オーディオデータ
の高域成分を補償して前記伝送すべきオーディオデータ
を再構成するようにしたことを特徴とするオーディオデ
ータ伝送方式。 - 【請求項2】 前記送信側で前記オーディオデータの高
域成分を特定の周波数間隔で間引くことにより前記高域
成分の伝送を制限し、 前記受信側でオーディオデータの高域成分の間引いた部
分を前後の周波数成分に基づいて補間することにより前
記高域成分を補償するようにしたことを特徴とする請求
項1記載のオーディオデータ伝送方式。 - 【請求項3】 前記送信側で前記オーディオデータの高
域成分のうち奇数番目の周波数成分と、前記高域成分の
うち偶数番目の周波数成分とを交互に伝送することによ
り前記高域成分の伝送を制限し、 前記受信側で前記奇数番目の周波数成分と偶数番目の周
波数成分とに基づいて前記高域成分を補償するようにし
たことを特徴とする請求項1記載のオーディオデータ伝
送方式。 - 【請求項4】 前記送信側で前記高域成分のうち伝送す
る周波数成分のパターンを異ならせた複数の状態を同一
パターンが連続しないように繰り返すことにより前記高
域成分の伝送を制限し、 前記受信側で前記複数の異なる周波数成分のパターンか
ら前記高域成分を補償するようにしたことを特徴とする
請求項1乃至3のいずれか1項記載のオーディオデータ
伝送方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27379296A JP3588937B2 (ja) | 1996-10-16 | 1996-10-16 | オーディオデータ伝送方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27379296A JP3588937B2 (ja) | 1996-10-16 | 1996-10-16 | オーディオデータ伝送方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10126272A true JPH10126272A (ja) | 1998-05-15 |
| JP3588937B2 JP3588937B2 (ja) | 2004-11-17 |
Family
ID=17532650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27379296A Expired - Fee Related JP3588937B2 (ja) | 1996-10-16 | 1996-10-16 | オーディオデータ伝送方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3588937B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001222720A (ja) * | 2000-02-10 | 2001-08-17 | Sony Corp | 情報符号化装置 |
| WO2003007480A1 (en) * | 2001-07-13 | 2003-01-23 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
| WO2004019497A1 (ja) * | 2002-08-21 | 2004-03-04 | Sony Corporation | 信号符号化装置及び方法、並びに信号復号装置及び方法 |
-
1996
- 1996-10-16 JP JP27379296A patent/JP3588937B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001222720A (ja) * | 2000-02-10 | 2001-08-17 | Sony Corp | 情報符号化装置 |
| WO2003007480A1 (en) * | 2001-07-13 | 2003-01-23 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
| AU2002318813B2 (en) * | 2001-07-13 | 2004-04-29 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
| US7260541B2 (en) | 2001-07-13 | 2007-08-21 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
| WO2004019497A1 (ja) * | 2002-08-21 | 2004-03-04 | Sony Corporation | 信号符号化装置及び方法、並びに信号復号装置及び方法 |
| US7205910B2 (en) | 2002-08-21 | 2007-04-17 | Sony Corporation | Signal encoding apparatus and signal encoding method, and signal decoding apparatus and signal decoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3588937B2 (ja) | 2004-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100840146B1 (ko) | 패킷 데이터 통신 시스템에서 암호-동기화를 구현하기 위한 방법 및 장치 | |
| JP3658087B2 (ja) | 端末装置及び端末装置の制御方法 | |
| US6901069B2 (en) | Sub-packet insertion for packet loss compensation in voice over IP networks | |
| US7787500B2 (en) | Packet receiving method and device | |
| JP4782973B2 (ja) | オーディオおよびビデオ信号の同期化 | |
| US8675728B2 (en) | Transmitting apparatus and method, and receiving apparatus and method | |
| EP1143671A2 (en) | Device and method for reducing delay jitter in data transmission | |
| JP2007089137A (ja) | ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト | |
| US7072291B1 (en) | Devices, softwares and methods for redundantly encoding a data stream for network transmission with adjustable redundant-coding delay | |
| US20080170500A1 (en) | Data communication apparatus for performing bit rate control in real-time audio-video communications | |
| US6961331B2 (en) | IP gateway apparatus | |
| JP4076981B2 (ja) | 通信端末装置およびバッファ制御方法 | |
| JP3588937B2 (ja) | オーディオデータ伝送方式 | |
| KR20030026109A (ko) | 채널 적응적 멀티미디어 데이터 전송 장치 및 방법 | |
| US8027374B2 (en) | Method, system and apparatus for transmit diversity control | |
| JP3833490B2 (ja) | データ伝送において発生する遅延ジッタを吸収する装置および方法 | |
| CN112786062A (zh) | 带宽自适应网络音频传输方法、设备、介质及系统 | |
| JPH07212836A (ja) | ディジタルコードレス電話装置 | |
| JPH1169327A (ja) | 同期制御装置 | |
| JP2006074359A (ja) | 遠隔会議システムにおける音声データの送受信システム及び制御方法 | |
| JP2004080625A (ja) | パケット型音声通信端末 | |
| EP2424159A1 (en) | Information transmission apparatus, information transmission method, and computer readable medium | |
| JPH0865278A (ja) | マルチメディア通信装置 | |
| JP3587920B2 (ja) | 送信方法及び受信方法 | |
| JP4973453B2 (ja) | 送信端末、通信システム、プログラム、及びデータ品質制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040727 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040809 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |